基于轻量化ViT模型的目标检测算法产品系统

1.立项原因：传统目标检测算法在嵌入式或边缘设备上推理速度慢、功耗高，难以同时满足实时性与精度要求。本项目的立项旨在解决多模态图像（红外与可见光）融合场景下的轻量化检测问题，提升模型在资源受限设备上的运行效率。
2.行业场景：适用于安防监控、无人巡检、夜间辅助驾驶等需要融合红外与可见光图像进行目标检测的领域。业务背景要求算法在低算力平台上实现高帧率处理，同时保持对行人、车辆等目标的准确识别能力。

1.具体功能模块：项目包含多模态图像预处理模块、轻量化ViT特征提取与融合模块、模型量化与剪枝模块、训练与微调模块、推理部署模块。其中预处理模块负责红外与可见光图像的对齐、归一化及增强；特征融合模块采用轻量化LightViT网络实现跨模态特征交互；量化剪枝模块用于压缩模型体积、提升推理速度；部署模块将最终模型集成到目标边缘设备。
2.主要功能描述：支持输入红外与可见光图像对，自动完成目标检测与定位。通过多模态特征融合，提高在低照度、遮挡等复杂场景下的检测鲁棒性。模型经过量化与剪枝后，可在FPGA或ARM平台实现实时推理（≥30 FPS），同时保持mAP不低于原始模型的95%。整个流程从数据预处理到模型部署形成闭环，便于工程化落地。

1.主导红外与可见光数据集的评估与分析，设计特征提取及融合策略；完成LightViT网络的环境搭建、模型训练与超参数调优；实施多种量化（INT8、FP16）与结构化剪枝操作；进行模型微调与帧率/准确率指标验证，最终将优化后的模型部署到目标边缘设备。
2.技术栈、架构及亮点难点：技术栈包括PyTorch、ONNX、TensorRT、OpenCV；架构采用双分支输入+轻量化ViT注意力融合。亮点是通过联合剪枝与量化实现了模型体积压缩80%以上，推理延迟降低50%。难点在于解决红外与可见光图像的特征对齐与融合权重平衡，以及在保持高帧率的前提下不损失小目标检测精度。