1. 立项原因
传统人体动作识别依赖穿戴式传感器或大型深度学习模型，前者成本高、佩戴不便且易受干扰，后者计算量大，无法在手机、平板等边缘设备上实时运行。同时，现有轻量型模型对相似动作的区分度低，误识别率超过 25%，难以满足实际应用需求。本项目旨在基于轻量级 MobileViTv3 架构，构建高精度、低延迟的人体姿态检测系统，实现站立、坐姿、行走、深蹲、俯卧撑、仰卧起坐 6 个基础动作的实时准确识别。
2. 行业场景与业务背景
该系统广泛应用于居家健身指导、智慧养老跌倒监测、校园体育教学考核、工业作业规范监督、体感互动游戏等多个领域。特别是在居家健身和智慧养老赛道，随着移动互联网和老龄化社会的发展，市场对无需专业设备、保护用户隐私的边缘端人体动作识别技术需求呈爆发式增长。系统无需云端计算，所有数据均在本地处理，完美解决了用户隐私泄露的顾虑。
1. 具体功能模块
系统包含七大核心功能模块：多源输入支持模块（摄像头 / 本地视频 / 图片）、实时人体检测与单目标跟踪模块、17 个人体关键点提取模块、关键点归一化与姿态校正模块、基于 MobileViTv3 的 6 个基础动作分类模块、动作计数与时长统计模块、结果可视化与数据导出模块。
2. 主要功能描述
系统支持实时调用电脑或手机摄像头，也可导入本地视频文件和图片进行离线分析。首先通过目标检测算法定位画面中的人体并进行持续跟踪，随后使用改进的 MobileViTv3 网络提取 17 个人体关键点坐标，生成人体骨骼图。系统自动对关键点进行尺度归一化和姿态校正，消除拍摄角度、人体身高体型差异对识别结果的影响。在此基础上，实时识别站立、坐姿、行走、深蹲、俯卧撑、仰卧起坐 6 个基础动作，在画面上叠加显示动作名称和置信度，并自动统计动作完成次数和持续时间。支持多目标同时识别，用户可自定义动作识别的置信度阈值，识别结果和统计数据可一键导出为 Excel 格式文件。
1. 个人负责任务
我独立完成了整个项目的全部工作，包括前期的市场需求调研与应用场景分析、整体技术方案与算法架构设计、公开数据集的筛选整理与自定义动作数据集的采集标注、模型的训练、调优与性能对比、所有功能模块的代码编写与单元测试、系统集成与压力测试，以及最终的桌面端应用打包部署和完整技术文档撰写。
2. 技术栈、架构与实现亮点难点
技术栈：Python、PyTorch、OpenCV、MediaPipe、ONNX Runtime、PyQt5、NumPy、Pandas
整体架构：采用模块化分层架构，自下而上分为数据输入层、预处理层、核心算法层、业务逻辑层和 UI 展示层，各模块之间通过标准接口通信，便于后续扩展更多动作类型和功能。
实现亮点：
对 MobileViTv3-Small 模型进行了针对性轻量化改进，剪枝了冗余卷积层并优化了注意力机制，在保持 95.6% 动作识别准确率的同时，将模型大小压缩至 5.2MB，单帧推理速度在普通笔记本 CPU 上达到 32FPS，满足实时性要求。
设计了基于关节角度变化的时序特征融合方法，通过分析连续 5 帧图像中关键关节的角度变化规律，有效解决了深蹲起始姿势与站立、俯卧撑准备姿势与平板支撑等相似动作的误识别问题。
实现了自适应关键点归一化算法，能够自动校正不同拍摄角度和距离下的人体姿态，使模型在复杂环境下的泛化能力提升了 18%。
开发了智能动作计数功能，能够准确识别动作的完整周期，排除不标准动作的干扰，计数准确率达到 98% 以上。
实现难点：
部分动作存在严重的自遮挡问题，如做俯卧撑时手臂被身体遮挡、仰卧起坐时头部被遮挡，通过引入人体结构先验知识和关键点补全算法，显著提升了遮挡情况下的姿态检测精度。
边缘设备的计算资源有限，通过模型量化、算子融合和 ONNX Runtime 加速等多种优化手段，将模型推理速度提升了近 3 倍，实现了
评论