复杂场景下无人机语义引导的快速三维重建系统产品系统

本项目面向无人机在城市街区、园区建筑、道路交通、灾害现场及非结构化地形等复杂环境中的三维感知需求。传统三维重建通常将几何建模与语义识别分开处理，难以应对车辆、行人及遮挡变化造成的动态干扰，同时存在地图更新滞后、模型规模大和计算开销高等问题。系统通过融合无人机图像、点云和位姿信息，快速生成包含建筑、道路、车辆、行人及障碍物类别的三维语义地图，可为低空巡检、应急测绘、灾害救援、动态目标辅助识别、场景数字化管理及数字孪生提供技术支撑。

系统包含六个主要功能模块：①多源数据接入与预处理，支持图像、视频、点云、相机位姿及自定义配置文件导入，并完成坐标对齐、时间匹配和格式转换；②跨模态语义解析，通过多尺度视觉特征提取和像素—体素映射，将二维语义信息映射至三维空间，并利用多视角一致性生成稳定语义结果；③动态目标检测与追踪，识别车辆、行人等运动目标，区分静态背景与动态区域；④语义—几何同步重建，基于3D Gaussian Splatting对变化区域进行局部增量更新，减少动态残影；⑤模型轻量化与快速渲染，采用3D高斯分治、视锥剔除和LoD分层渲染降低显存及计算开销；⑥可视化与结果管理，支持点云及高斯模型预览、相机轨迹显示、语义分割、目标检测、运行日志、PLY模型导出和在线浏览。

本人主要参与系统算法实现、模型训练评测及可视化平台集成。算法端基于Python、PyTorch、CUDA和3D Gaussian Splatting搭建语义协同动态高斯重建流程，完成无人机图像、点云及位姿数据预处理，参与跨模态像素—体素关联、动态目标检测、语义—几何联合更新及局部增量建图模块的开发；针对大规模场景高斯数量多、显存占用高的问题，引入分块训练、视锥剔除和LoD异分辨率渲染策略，在保持场景结构完整性的同时降低计算开销。工程端采用前后端分离的B/S架构，后端使用Flask管理重建任务、模型进程和数据通信，前端使用Three.js实现点云、高斯模型、相机轨迹及语义结果的浏览器交互展示，并支持任务暂停恢复、日志监控和PLY模型导出。项目在测试中实现3.87cm静态重建误差、94.9%语义匹配准确率、88.6%动态场景mIoU和4.26秒端到端处理时间。