基于YOLOv5的嵌入式实时目标检测与识别系统-嵌入式AI识别系统产品系统

1.立项原因：嵌入式设备受功耗与算力限制，深度学习模型在树莓派等边缘硬件上实时运行存在部署难题，模型体积大、推理速度慢，导致计算机视觉能力难以从云端下沉至终端设备，直接制约了物联网智能识别场景的落地效率。
2.行业场景：面向边缘计算与嵌入式AI领域，聚焦智能监控、门禁身份核验、移动端轻量检测等实际业务场景，要求在低功耗、低成本硬件上实现人脸与日常物品的实时识别能力，为物联网设备赋予本地化智能感知能力，降低对云端算力的依赖，同时满足数据隐私与低延迟要求。

1.项目包含三大核心功能模块：①目标检测模块——基于轻量化YOLOv5模型实现人脸及5类日常物品（凳子、键盘、杯子、手机）的实时检测与定位，输出边界框坐标、类别标签及置信度分数；②人脸识别子模块——基于检测结果提取人脸区域特征，实现指定人脸库的身份匹配与识别；③实时视频流处理模块——调用树莓派CSI摄像头驱动完成视频帧采集、尺寸归一化与归一化等预处理，调度模型进行推理，并通过OpenCV在原始画面叠加检测框与类别标签。
2.系统工作流程：树莓派启动后自动初始化摄像头并连续采集实时视频流，每一帧图像经尺寸归一化（640×640）、BGR转RGB、归一化等预处理操作后输入ONNX格式的轻量化YOLOv5模型进行前向推理，输出经过非极大值抑制（NMS）过滤后的检测结果，包含目标类别、置信度及边界框坐标，通过OpenCV绘制矩形框与类别标签至原始画面，最终经HDMI实时输出至显示器，端到端延迟控制在200ms以内，形成“采集→预处理→推理→后处理→渲染→输出”的全链路实时处理闭环。

1.本人独立完成全流程开发与落地：数据层面，采集并标注人脸、凳子、键盘、杯子、手机5类目标共计800余张图片，应用Mosaic、MixUp等数据增强策略扩充至等效2000+张，提升模型泛化性；训练层面，基于YOLOv5s在Windows平台完成300轮迭代训练，采用SGD优化器、余弦退火学习率调度，最终模型通过通道剪枝与ONNX量化压缩至15MB；部署层面，完成树莓派4系统烧录、CSI摄像头驱动调试及推理环境搭建，编写约300行Python推理主程序，集成onnxruntime进行CPU推理加速。
2.技术栈与架构：采用分层架构设计，训练层基于PyTorch+Python+LabelImg，部署层运行于树莓派4（Raspbian Linux + OpenCV + onnxruntime）。亮点与难点：①初始模型45MB，推理帧率不足2FPS，通过YOLOv5s通道稀疏剪枝减少冗余参数，配合ONNX动态量化将模型压缩至15MB，帧率提升至5-8 FPS；②摄像头驱动不兼容导致无法拍照，排查为CSI接口接触不良与固件版本过旧，通过更换接口与升级固件解决；③树莓派官方软件源访问超时，更换清华源并分批次安装OpenCV、onnxruntime等大体积依赖库解决；④数据集采集时光照不均且手机类样本偏少导致识别AP偏低，通过针对性补拍300张多角度、多光照条件下的手机图片并重新标注，配合数据增强使各类别AP趋于均衡，mAP达到82%。