针对传统 LEGO、家具等产品依赖静态2D安装说明、空间关系理解困难的问题,开发2D安装图自动转换为3D装配动画的系统,帮助用户更直观地理解零件位置和装配过程,降低安装错误率。
点击空白处退出提示
针对传统 LEGO、家具等产品依赖静态2D安装说明、空间关系理解困难的问题,开发2D安装图自动转换为3D装配动画的系统,帮助用户更直观地理解零件位置和装配过程,降低安装错误率。
系统支持用户上传2D安装说明图,通过Mask R-CNN自动识别并分割零件,利用PnP算法计算零件的3D姿态,并从3D模型库匹配对应模型,最终使用Three.js和GSAP生成可交互的3D装配动画,实现从2D图像识别到3D动画展示的完整流程。
独立负责系统设计与开发。使用Blender生成多角度训练数据并完成数据标注,基于Mask R-CNN和ResNet-101训练零件检测与实例分割模型;根据分割轮廓提取关键点,结合PnP完成3D姿态估计;使用Three.js、GSAP实现3D模型渲染与动画展示。针对自动标注误差较大的问题,重新设计数据集并人工标注关键样本,提高模型识别效果。



评论