多模态大模型监督微调（针对遥感任务）产品系统

面向遥感影像解译及星载、边缘设备算力受限的应用需求，解决通用多模态大模型在遥感场景中领域知识不足、细粒度目标理解不准确、任务输出不规范，以及全参数微调资源开销较大的问题。项目通过遥感领域监督微调与参数高效适配，使模型能够根据自然语言指令完成多类遥感分析任务，为土地利用调查、城市建设监测及地物信息提取等场景提供技术支持。

项目以 Qwen2.5-VL-7B-Instruct 为基础，构建遥感多模态模型 Q-RMM。用户输入遥感图像及自然语言指令，即可进行目标定位、场景分类、目标计数、图像描述，以及双时相影像变化判定与描述。系统结合任务专家模块、SAM 分割工具和 Agent 调度，进一步支持像素级分割及多任务协同处理。其中，监督微调模块负责模型的遥感领域适配，强化图像与指令之间的对应关系，并规范边界框、类别、数字和描述文本等输出。

我主要负责遥感多模态大模型的监督微调（SFT），围绕 Qwen2.5-VL-7B-Instruct 开展多任务领域适配。训练采用统一的 ChatML 图文指令数据，覆盖目标定位、场景分类、变化检测、目标计数及图像描述五类任务，共17,277条训练样本。
采用 QLoRA 参数高效微调方案，以4-bit NF4量化加载基座，冻结原始权重，仅训练低秩适配器；从仅训练语言侧适配器的版本，迭代至语言侧与视觉侧联合适配，以改善细粒度视觉理解。训练中采用答案部分损失计算、BF16混合精度及梯度检查点，兼顾输出规范性和显存开销。
主要难点在于多任务数据与输出格式的统一，以及有限显存下视觉能力适配与训练稳定性的平衡。项目内部评测中，微调模型的目标定位 Acc@0.5 由41.5%提升至67.0%，MeanIoU由39.2%提升至57.1%；可训练参数约占模型总参数量的0.7%。