【描述】本工程是深度学习在计算机视觉图像分类方面的应用，基于 Vision Transformer 架构(Vit)，采用的 Kaggle X光胸片数据集，共4个分类，7,100多张图片，数据集压缩包占用1.8GB 的磁盘空间，该数据集 Kaggle 持续在更新中。 【项目源码】https://github.com/tgltt/ChestXRayVit 【技术】Transformer、VisionTransformer(ViT)、Pytorch等 【职责】 1、阅读 Transformer、VisionTransformer(ViT )相关论文，制定模改方案; 2、数据探索，浏览数据集，并根据数据集特点，确定 ViT 输入图像的尺寸及 Transformer 输入数据的 embedding 大小； 3、数据预处理，删除无效图片(不支持的格式及过大分辨率的图像)，统计训练集均值及标准差，随后使用随机策略裁减原图、颜色抖动、随机水平镜像、缩放、转 Tensor 、标准化等预处理对图像数据进行增强； 4、模型改造，裁减 Transformer 模型,只保留其 Encoder 提取图像特征，然后使用 ViT 将图片切碎(Patch)，并将每个 碎片 Flatten 后导入 Transformer的 Encoder ，经 Encoder 提取特征后，最后经由一个 Linear 作分类，损失函数采用交叉熵; 4、模型训练，使用 Adam 优化策略训练模型； 5、模型评估，监控模型损失函数的下降过程，及横向和纵向比较训练集准确率、验证集准确率及测试集准确率; 6、 模型调优，根据训练情况，调整 Adam 参数、训练集批量大小、ViT 输入图像的尺寸及 Transformer 输入数据的 embedding 大小等，以提高模型性能。

【项目描述】本项目是讯飞AI开发者算法挑战赛中的一个赛道，属于计算机视觉中的小样本检测领域，主要目标是检测传送带上的缺陷类型及位置，有金属件、杂物、物料跑偏共3种缺陷，而训练样本总共只有405张图片，其中金属件：105张，杂物：150张，物料跑偏：50张，正常样本：100张，而验证集总共182张图片。 目前模型达到的性能Iou 0.50以上的mAP为55.0%，召回率为40.6%，独自组队并在所有参加比赛的246个团队中位列第22名。 【项目源码】https://github.com/tgltt/conveyerbelt-detect 【技术】Pytorch、CNN、SSD 、迁移学习等 【职责】 1、阅读SSD相关论文，理解SSD物体检测框架原理; 2、数据探索 2.1 浏览数据集文件夹结构，及各文件内容格式，以及比赛结果文件上传要求; 2.2 编写程序，将标注数据中的锚框及类别在原图上显示，以直观了解数据情况; 3、数据预处理 3.1 将训练集中多个分散的标注文件整合为一个统一的标注文件; 3.2 统计训练集图像数据的均值及标准差，以对输入图像做标准化处理; 3.3 因训练样本太少，故采用离线增强和在线增强策略结合，离线增强通过对原图进行旋转、水平/垂直镜像、改变色彩/饱和度/对比度、增加噪声等手段，并保存为文件，以增加训练样本的数量; 而在线增强通过将图像加载进内存后，对其进行随机裁减原图、颜色抖动、缩放、转Tensor、标准化等预处理，然后再喂给模型进行运算; 3.4 对离线增强中采用旋转手段保存的图片，通过labelme手动标注，并将其整合进模型统一的标注文件; 4、模型改造 4.1 根据数据集特点，设计锚框形状及尺寸; 4.2 调整原工程的数据读取模块; 4.3 对部分特征抽取模块增加ResNet的短接模型，缓解梯度消失现象; 5、模型训练 使用SGD优化策略训练模型，通过StepLR调整学习率； 6、模型评估 使用pycocotools工具评估模型性能(mAP/AR); 7、模型调优 7.1 根据训练情况，调整SGD参数、学习率及衰减策略、训练集批量大小、锚框大小等，以提高模型性能; 7.2 采用迁移学习，先在相对大且充足的数据集训练模型，达到一定性能后，再拿回来进行裁减并微调。

百度语音搜索，是语音技术、自然语言处理、智能搜索三方面技术的融合，以自然的交互方式，将用户所说内容更准确的识别，对用户需求更精准的理解，进而为用户提供更满意的结果。 本人在百度奥迪车盒项目中，担任语音组leader，负责将语音助手移植到奥迪车盒上，并协同地图、随心听等其他app团队开发，以向其提供语音能力控制地图和随心听等。 在移植过程中的难点，奥迪车盒硬件性能较低，语音数据传输有明显的延迟(2s以上)，本人提出离在线ASR融合的方式，较好地解决了这一问题。