基于 RK3588 的多模态手语双向翻译系统开源项目

本项目是一款基于RK3588嵌入式平台与Django框架的多模态手语双向翻译系统，具备以下核心功能模块：
1.孤立手语识别：支持对单帧手势图像的实时识别，基于CNN模型与MediaPipe手部关键点检测，可识别手语字母、数字及常用词汇。
2.连续手语翻译：采用CNN+Transformer融合模型，实现对视频流中连续手语句子的端到端识别与翻译。
3.手语动画生成：支持中英文文本输入，自动分词并映射至手语动作库，生成连贯的手语动画视频。
4.中文手语图片/视频识别：支持用户上传图片或视频，系统自动提取手部关键点并进行分类或时序建模，输出识别结果。
5.历史记录管理：记录用户识别与生成记录，支持查看与清空操作。
6.实时摄像头识别：基于WebRTC实现浏览器端实时视频采集与识别反馈。
系统集成硬件采集、深度学习推理与Web交互于一体，适用于特殊教育、公共服务、医疗问诊等场景，致力于实现聋哑人士与健听人士之间的无障碍沟通。