在市场中存在空白,本科阶段的平台实验任务,社交平台中缺少三位要素,故在实验室中进行研究
点击空白处退出提示
在市场中存在空白,本科阶段的平台实验任务,社交平台中缺少三位要素,故在实验室中进行研究
数据预处理、场景重建训练、实时光栅化渲染、交互式查看、模型导出、调优扩展全链路功能。
一、数据预处理与输入适配模块
1. 多数据源自动解析
COLMAP SfM 相机 / 点云导入:支持标准 colmap 稀疏重建结果(images、sparse 文件夹),自动读取内参、外参、初始稀疏点云作为高斯初始化种子,是实景照片重建标准流水线。
NeRF 合成数据集兼容:LLFF、Blender、Tanks&Temples 等标准 NeRF 数据集一键加载,适配科研测试。
自定义图像序列:支持普通照片文件夹,可外接 COLMAP 自动批量做相机标定。
2. 图像预处理工具
图像缩放、色彩抖动、随机裁剪数据增强,解决少量照片重建模糊问题;
畸变校正:适配针孔相机,衍生分支可扩展鱼眼、卷帘快门相机;
自动过滤模糊、曝光异常图片,降低训练噪声。
二、核心 3D 场景重建训练功能(最核心能力)
项目基于可微 CUDA 光栅化,用一组三维椭球高斯分布表征整个场景,迭代优化几何、色彩、透明度,分三阶段精细化训练:
1. 三阶分层优化训练流水线
粗重建阶段(0~5k 迭代):高学习率快速搭建场景主体结构,快速生成基础高斯点;
精细优化(5k~20k 迭代):开启密度控制 / 分裂 / 克隆 / 修剪核心机制:
分裂:画面模糊区域高斯拆分为更小高斯,提升细节;
克隆:高梯度区域复制高斯点填充孔洞;
修剪:删除透明度极低、无贡献冗余高斯,控制模型体积;
最终微调(20k~30k 迭代):低学习率仅微调颜色、视角相关着色,锁定几何结构。
2. 多正则约束(提升泛化、减少过拟合)
位置正则:约束高斯不无限扩散,场景结构紧凑;
透明度正则:强制稀疏表示,减少浮点冗余点;
颜色损失 + LPIPS 感知损失:兼顾像素误差与人眼视觉真实度。
3. 硬件与训练效率特性
纯 CUDA 光栅化内核,消费级 RTX30
环境搭建:配置 CUDA、PyTorch,编译项目 CUDA 渲染内核与可视化查看器。
数据准备:拍摄场景照片,用 COLMAP 求解相机位姿、生成稀疏点云。
模型训练:运行训练脚本,自动完成高斯点分裂、修剪优化,输出 ply 三维模型。
交互查看:打开 SIBR 查看器自由漫游场景,查看深度、高斯椭球等调试视图。
导出与优化:轻量化模型,导出效果图并计算 PSNR 等重建指标,解决噪点、显存不足等问题。
拓展落地:模型转网页格式,实现浏览器实时三维漫游展示。




评论