EmbeddedSystem

基于高通SNPE的模型部署到色选机项目1.图像采集，利用camera设备采集2600张茶叶（640*640），并标注13中茶叶类别。2.数据增强，利用数据平移、缩放和仿射变换，扩充数据集。3.利用Yolov5算法进行模型训练。4.利用SNPE进行模型进行模型转换和量化，因为SNPEdsp不支持5D算

语音对话，角色定制，兼容小智系统，可直接使用小智服务器系统。未来会增加智能家居控制系统，利用红外线控制电视，空调等。可以定制外壳，作为商品销售。兼容乐鑫esp32开发板。

涉及到目标识别和数据库存储、rk3588开发板目标识别、语音识别、语音合成、数据库查询等。基于语音交互+rkllm大模型：数据查询延迟在2.5秒以内，资源占用率高；基于语音交互+正则匹配：数据查询2秒以内，资源占用率低。

是基于JetsonNano的系统开发，收集了大量的数据集，使用YOLOv11的卷积神经网络进行目标检测的学习，能够在复杂场景下红绿灯，交通标志，行人和车辆等。

1.解决口罩正确佩戴检测算法设计：使用 Pytorch 进行深度学习训练生成口 罩佩戴检测模型，利用 YOLOv5 进行口罩佩戴检测。 我们还在训练的过程中， 随机的往嘴巴部分粘贴一些其他物体的图片，从而避免模型认为只要露出嘴巴的 就是没戴口罩，没露出嘴巴的就是带口罩这个问题，增加一个不规范佩戴口罩类。 通过对画面 Blob 处理，降低了光照变化对检测的影响。 2.解决巡检机器人自动寻路的功能设计：使用超声波传感器和红外避障传感 器， 通过目标距离和朝向检测算法，设计智能避障算法，并使用蚁群算法计算最 优路径并配合避障算法实时纠错，实现智能巡检。 3.解决戴口罩下人脸信息识别：通过人脸检测技术，能检测出 68 个人脸特 征点，可是当需要检测的人脸出现遮挡物的时候，会影响人脸的检测，导致无法 获得画面中的人脸信息。 4.解决Web端可视化监控的功能设计：利用ESP32模块把检测结果通过WIFI 传输到服务器后台，使用 Django 将数据传输到 Web 端，实现可视化监控。 5.解决口罩统一回收消杀的问题：设计口罩回收仓，能通过一个狭长的口罩 回收口将废弃口罩放入回收仓内，通过红外传感器识别到口罩放入，会立即启动 消杀作业，对回收仓内的废弃口罩进行消杀。

项目使用YOLO5s模型，转为TensorRT模型，使用C++编程，经过Int8量化、CUDA预处理、多线程，在1060 卡上可以跑到200多FPS（720P）， 部署在docker或Jetson 系列上，可实现RTMP推流