【项目描述】本项目是讯飞AI开发者算法挑战赛中的一个赛道，属于计算机视觉中的小样本检测领域，主要目标是检测传送带上的缺陷类型及位置，有金属件、杂物、物料跑偏共3种缺陷，而训练样本总共只有405张图片，其中金属件：105张，杂物：150张，物料跑偏：50张，正常样本：100张，而验证集总共182张图片。目前模型达到的性能Iou 0.50以上的mAP为55.0%，召回率为40.6%，独自组队并在所有参加比赛的246个团队中位列第22名。【项目源码】https://github.com/tgltt/conveyerbelt-detect【技术】Pytorch、CNN、SSD 、迁移学习等【职责】1、阅读SSD相关论文，理解SSD物体检测框架原理;2、数据探索 2.1 浏览数据集文件夹结构，及各文件内容格式，以及比赛结果文件上传要求; 2.2 编写程序，将标注数据中的锚框及类别在原图上显示，以直观了解数据情况;3、数据预处理 3.1 将训练集中多个分散的标注文件整合为一个统一的标注文件; 3.2 统计训练集图像数据的均值及标准差，以对输入图像做标准化处理; 3.3 因训练样本太少，故采用离线增强和在线增强策略结合，离线增强通过对原图进行旋转、水平/垂直镜像、改变色彩/饱和度/对比度、增加噪声等手段，并保存为文件，以增加训练样本的数量; 而在线增强通过将图像加载进内存后，对其进行随机裁减原图、颜色抖动、缩放、转Tensor、标准化等预处理，然后再喂给模型进行运算; 3.4 对离线增强中采用旋转手段保存的图片，通过labelme手动标注，并将其整合进模型统一的标注文件;4、模型改造 4.1 根据数据集特点，设计锚框形状及尺寸; 4.2 调整原工程的数据读取模块; 4.3 对部分特征抽取模块增加ResNet的短接模型，缓解梯度消失现象;5、模型训练 使用SGD优化策略训练模型，通过StepLR调整学习率；6、模型评估 使用pycocotools工具评估模型性能(mAP/AR);7、模型调优 7.1 根据训练情况，调整SGD参数、学习率及衰减策略、训练集批量大小、锚框大小等，以提高模型性能; 7.2 采用迁移学习，先在相对大且充足的数据集训练模型，达到一定性能后，再拿回来进行裁减并微调。