在相机成像系统中，ISP负责将传感器采集的RAW数据转换为高质量的RGB图像。这一过程涉及上百个超参数（如曝光时间、白平衡增益、降噪强度、色彩矩阵等）。这些参数之间呈现复杂的非线性耦合关系，且最优配置往往随场景剧烈变化。
核心痛点：
· 专家依赖与效率瓶颈：传统调参依赖影像专家在实验室手动标定，针对单一场景可能需要数周甚至数月，俗称“教条工程”或“手工作坊”模式。
· 审美与任务的割裂：符合人眼视觉感知（好看）的图像往往并不适用于机器视觉任务（如目标检测的精度），反之亦然。传统的“一刀切”模式难以兼顾。
· 环境动态适应性差：现实世界光线、温度、动态范围瞬息万变，静态参数组无法实时适应环境变化。
利用AI Agent替代人类专家，将相机视为环境（Environment），将调参视为马尔可夫决策过程（MDP），通过试错学习实现端到端的自动优化。
核心架构设计
本方案采用 “分层Agent” + “MLLM先验知识” 的混合架构。
· 高层Agent（决策者）：基于多模态大语言模型，负责理解当前场景语义（是拍人像、夜景还是文档），制定宏观的成像风格目标。
· 低层Agent（执行者）：基于强化学习（RL），负责具体的ISP寄存器数值微调，追求即时的图像质量奖励。
2.2 关键技术实现
1. 状态空间建模
为了降低计算复杂度，不能直接处理RAW图。我们将高维观测空间映射为低维特征向量：
State = [histogram, \mathcal{B}_{score}, E(\mathcal{I})]
其中， E(\mathcal{I}) 是预训练的ResNet-152编码器提取的感知特征， \mathcal{B} 是无参考图像空间质量评估器（BRISQUE）打分，用于量化图像退化程度。
2. 动作空间设计
动作不再是简单的“增加亮度”，而是离散化的参数增量。
采用双分支参数特征融合模块（DPFFM），将每一维ISP参数展开并与图像特征进行对齐，允许Agent感知到改变“对比度+5”对特定区域纹理的具体影响。
3. 奖励函数设计
这是算法成功的关键。为了克服单任务优化的缺陷，采用动态偏好学习：
R = \lambda_{task} \cdot Score_{Detection} + (1-\lambda_{task}) \cdot Q_{IQA}
Score_{Detection}代表下游任务（如YOLO检测）的mAP指标，Q_{IQA}代表主观图像质量。\lambda根据用户指令动态调整。
4. 训练机制：虚拟相机与物理实体
· 虚拟相机仿真：由于在真实机器人上训练RL成本极高，首先构建“虚拟相机”。该模块接收预录视频和原始参数，通过模拟ISP pipeline生成图片，允许Agent在GPU中以300FPS以上的速度训练，实现“一天训练数个月的经验”。
· 物理部署：训练好的轻量化策略通过8-bit量化部署至端侧NPU，实现端到端延迟低于100ms的实时控制。
1. 感知：Agent接收RAW图，MLLM识别出“低光环境且画面有抖动”。
2. 决策：高层Agent下达“提高ISO并开启多帧降噪”的指令；低层Agent计算具体的增益值和帧数。
3. 执行：写入ISP寄存器。
4. 反馈：新图像计算出BRISQUE分数和检测框置信度。
5. 进化：如果是负收益（图像变绿），Agent立即回退该动作，并通过Sarsa算法更新Q-table。
评论