本项目面向智能穿戴设备、无接触人机交互(如智能家居控制、VR/AR辅助输入)等场景。传统按键或触摸交互在特定场景存在局限性,本系统通过捕捉用户的轻量级手部挥动动作(上下左右、画圈等),实现隔空控制。系统基于本地MCU进行边缘计算,具有低延迟、无需联网、隐私安全等优势,可广泛应用于无障碍辅助设备及创客教育领域。
点击空白处退出提示
本项目面向智能穿戴设备、无接触人机交互(如智能家居控制、VR/AR辅助输入)等场景。传统按键或触摸交互在特定场景存在局限性,本系统通过捕捉用户的轻量级手部挥动动作(上下左右、画圈等),实现隔空控制。系统基于本地MCU进行边缘计算,具有低延迟、无需联网、隐私安全等优势,可广泛应用于无障碍辅助设备及创客教育领域。
系统包含完整的端侧数据采集、特征工程与AI推理全链路功能:
硬件驱动:基于ESP-IDF开发I2C传感器(ADXL345/MPU6050)驱动,实现50Hz高频数据采集。
数据预处理:内置传感器零点校准、方向自适应反转及数字滤波功能。
算法推理:自主实现轻量级KNN分类器,替代传统庞大的AI黑盒,在MCU端直接完成手势识别。
反馈与交互:集成WS2812 RGB灯效模块,针对不同手势实时输出不同颜色的视觉反馈;支持串口双模式(采集/识别)切换。
配套上位机工具:提供Python编写的自动化数据采集、模型训练及C代码一键导出脚本。
我负责全流程的架构设计与代码实现。
技术栈:ESP-IDF、C/C++、FreeRTOS、Python、Scikit-learn。
亮点与难点:
放弃臃肿的第三方AI SDK(如Edge Impulse),自研特征工程(提取均值、方差、峰值方向),结合KNN算法,极大降低了内存占用,使轻量级MCU也能流畅运行AI模型。
解决了受限设备的内存崩溃问题:合理配置堆栈,启用外置PSRAM并优化动态内存分配。
攻克了硬件方向适配问题:通过算法实现软件级零点校准和轴方向自适应,屏蔽了不同批次传感器安装方向不一致带来的干扰。



评论