1、立项原因，旨在解决什么产品问题
现有双目深度相机和立体匹配产品在自动驾驶、机器人、AR/VR、三维重建等场景中，遇到遮挡、弱纹理、反射、透明材质和细小结构等病态区域时，左右图像缺乏稳定对应关系，导致代价体匹配代价缺失或错误，最终输出的视差图出现空洞、边缘模糊、过平滑和局部误匹配。本项目旨在不依赖庞大视觉基础模型的前提下，以轻量化方式增强单帧双目立体匹配的几何感知与细节恢复能力，输出更准确、更稳定的稠密视差，解决复杂真实环境中深度感知不可靠的产品痛点。
2、行业场景，业务背景
项目面向自动驾驶环境感知、移动机器人导航避障、工业三维测量、AR/VR空间融合、医学内窥镜三维重建等业务场景。这些场景通常使用低成本双目相机获取稠密深度，要求算法在真实光照、反光、弱纹理和动态遮挡条件下仍能稳定工作。相比激光雷达，双目立体匹配成本低、部署方便，但其核心瓶颈正是病态区域匹配不可靠。因此，提升单帧立体匹配的鲁棒性、边缘细节保真度和跨域泛化能力，具有明确的行业应用价值。
1、项目有哪些具体功能模块
项目主要包括：特征提取模块、代价体构建模块、单目视差分布先验模块、单目-立体融合代价体模块、梯度增强细节感知模块、代价体金字塔与查找采样模块、双核GRU迭代视差优化模块、损失函数与训练推理模块、评估与可视化模块。其中特征提取模块包含MobileNetV2双分支特征编码器、上下文编码器和Sobel梯度编码器；代价体构建模块包含双目相关/组相关代价体和单目视差分布先验体；融合模块采用跨模态线性注意力与遗忘门控；细节感知模块采用3D U-Net和梯度空间注意力；迭代模块采用3×3小核与7×7大核双分支GRU。
2、项目的主要功能描述
项目输入为极线校正后的左右双目图像，输出为像素级稠密视差图。系统首先提取左右图像多尺度特征和梯度特征，构建双目代价体；同时从左图预测离散视差概率分布，形成单目视差分布先验体；然后通过MPFM将单目先验自适应注入双目代价体，在遮挡、弱纹理、反射区域补全可靠匹配线索，并通过遗忘门抑制错误先验对正常区域的干扰；再通过DAA在代价聚合阶段引入梯度空间注意力，保留边缘、薄结构和深度突变处的高频几何细节；最后利用代价体金字塔和双核GRU迭代回归视差残差，输出高精度视差图。项目支持在SceneFlow、KITTI2015、ETH3D、Middlebury等数据集上评估，可输出EPE、Bad3.0、D1等指标及可视化结果，并支持zero-shot跨域测试。
1、“我”负责哪些具体任务？
我负责GEAStereo整体方案设计、网络结构搭建与核心模块实现。具体包括：实现MobileNetV2双分支特征提取、Sobel梯度编码器、组相关代价体和单目视差分布先验体；设计并复现MPFM单目-立体融合模块，包括跨模态线性注意力和遗忘门控；实现DAA细节感知聚合模块，包括3D U-Net聚合和梯度空间注意力；实现双核GRU迭代视差优化、Soft-Argmin初始视差回归以及多损失联合训练；完成SceneFlow预训练、KITTI2015/ETH3D微调、病态区域对比、边缘/非边缘实验、zero-shot实验和消融实验；负责结果可视化、论文图表整理及原型系统集成。
2、项目使用了哪些技术栈、架构，实现上亮点、难点
技术栈包括Python、PyTorch、CUDA/cuDNN、Ubuntu、NumPy、MobileNetV2、U-Net、3D U-Net、GRU、线性注意力、Sobel算子、Soft-Argmin、AdamW、OneCycle学习率调度，并在NVIDIA RTX 3090上训练推理。架构采用迭代范式立体匹配流程：特征提取→代价体构建→单目先验融合→梯度细节聚合→代价体金字塔→GRU迭代残差更新→视差输出。亮点与难点在于：用离散视差概率分布替代单目深度回归，规避单目深度与双目视差之间的尺度不一致；用线性注意力将标准注意力的O(N²)复杂度降为近似O(N)，降低高分辨率代价体融合开销；用遗忘门选择性吸收单目先验，避免病态区域先验污染正常区域；用梯度空间注意力增强边缘和薄结构，缓解低分辨率聚合导致的细节平滑；用双核GRU实现低频背景与高频边缘的频率自适应更新。最终模型参数量约14.84M，在SceneFlow上EPE约0.40、Bad3.0约2.22%，在KITTI2015、ETH3D及zero-shot测试中取得有竞争力的精度与鲁
评论