手语是听障人群进行交流的重要方式,而普通人与听障人士之间由于缺乏统一交流媒介,长期存在沟通受阻问题。现有手语识别系统存在复杂背景干扰、时序特征建模困难以及边缘设备部署性能不足等问题,设计并实现一种基于 BiGRU 的中文孤立词手语识别系统,并完成了在树莓派平台上的轻量化部署。
点击空白处退出提示
手语是听障人群进行交流的重要方式,而普通人与听障人士之间由于缺乏统一交流媒介,长期存在沟通受阻问题。现有手语识别系统存在复杂背景干扰、时序特征建模困难以及边缘设备部署性能不足等问题,设计并实现一种基于 BiGRU 的中文孤立词手语识别系统,并完成了在树莓派平台上的轻量化部署。
整体主要基于 CSL500 中文手语数据集进行。结果表明,本文训练的模型在测试集上的识别准确率达到了97.56%,并且大多数类别的识别准确率都在90%以上,整体效果较为稳定。
部署测试中,经过量化优化后的模型能够在树莓派平台上实现较稳定的实时推理,基本满足实际运行需求,这验证了该系统在真实场景下具备一定的可行性和应用价值。
设计并实现了一套基于 BiGRU 的轻量化手语识别系统,基本完成了从数据预处理、模型训练,再到树莓派边缘部署的一整套技术流程。系统首先通过 YOLOv5s 完成人体检测和区域裁切,然后结合 MediaPipe 提取人体以及双手关键点信息,并基于骨架时序特征构建 BiGRU 深度学习模型,从而实现较高精度的手语动作识别。与此同时,系统还结合 ONNX 模型转换以及 INT8 量化优化,进一步降低了模型体积和推理开销,使其能够在树莓派这类资源受限设备上较稳定地运行。



评论