“果真如此”——基于深度学习的红枣分级系统产品系统

项目主要是通过pytorch平台构建深度学习模型，并以该模型为基础设计红枣分级系统平台，实现红枣分级的自动化，提高分级效率和分级准确率，减少重复性劳动。项目开展期间，对于YOLO8模型目标检测和分割的源码理解并运用于项目当中，对于一些attention模块自行组合搭建，对于深度学习的整体框架有较为清晰认知。

程序每次读入四个枣的数据，每个枣使用前三张图片，并将图片显示在界面上，图中每列图片表示同一个枣的数据，模型计算出结果后，将分类结果显示在每列图片下方，应用每0.5秒刷新一次，每次刷新读入新的图片，并计算结果。
用户可以通过点击“文件”按钮选择新的预设样本，从而改变分级标准；应用会记录深度特征映射器的输出，并使用PCA降维可视化展示出来，点击“统计数据”按钮可以查看；图中点的形状表示真实类型，点的位置则一定程度上反映模型计算出的类型，五角星形状的点表示变形样本，叉状的点表示正常样本，圆形的点表示皱皮样本。为方便查看变化，图像颜色会随时间进行刷新；除了提供改变预设样本，还能够通过改变类别严格指数来简便调整相似度计算的权重，从图中可以看到调低皱皮样本的加权后，其分界边界明显左移。
同类样本都聚集在几个分类中心处，且可以较容易的分辨出不同类型间的点存在的分界线，模型能稳定持续运行，且具有较好的分类效果。

开发工具：PyCharm，Visual Studio
开发语言：Python，C++
工具库：TensorFlow2.3，OpenCV3，matplotlib等
操作系统：Windows7
由唯嵩光电公司提供的大枣分拣机上进行，使用英伟达公司的jetson TX2模块作为主要计算设备，搭配的FPGA完成一些辅助的计算工作。为了与硬件代码兼容，部署时使用C++编写代码并利用OpenCV实现模型调用和矩阵运算
两段式模型的好枣预测准确率为0.90，皱皮预测准确率为0.93，变形预测准确率为0.92，总体平均准确率为0.91，召回率为0.89。使用三元组损失进行训练，当同类样本已经足够集中时会自动从梯度计算中排除，而当由于噪声等情况产生的异常样本导致loss过大时，也会自动排除出梯度的计算，从而保证模型将注意力放到最具有价值的样本上，这种设计使得模型在训练样本质量不佳时，能具有更强的抗干扰能力。