基于热成像与骨架提取的工件位姿测量系统产品系统

在工业智能制造与自动化产线中，工件位姿的精准获取是实现机械臂引导、自动化装配等环节的前提。然而，实际生产环境中往往存在光照变化剧烈、背景杂乱等复杂工况。本项目旨在解决复杂工况下的单工件高精度位姿测量问题 。通过结合热成像等多模态视觉技术，提升检测系统在恶劣工业场景下的鲁棒性与稳定性，为工业自动化业务提供可靠的量测技术支撑。

本项目主要包含目标检测、骨架提取、位姿解算和视频流处理四大功能模块，主要功能描述如下：
1、系统基于YOLO-OBB算法，实现对目标工件的高精度掩膜提取 。
2、利用Ada-LSN网络，系统能够在复杂工况环境下精准提取出单工件的骨架点集 。
3、通过内置的多边形求交与拟合算法，系统能够高精度地量测出工件的倾斜角度及核心位姿参数 。
4、系统具备针对连续视频流的实时处理能力，最终可将各项量测数据进行结构化输出，便于对接下游生产系统 。

在该项目中，我作为唯一研发人员独立完成了整个系统的设计与开发 。
技术栈与架构：系统底层基于PyTorch深度学习框架搭建，核心算法结合使用了YOLO-OBB（定向目标检测）与Ada-LSN网络 。
实现亮点与难点：项目的核心难点在于复杂工况下的特征提取精度与计算实时性的平衡。在实现上，我创新性地将YOLO-OBB掩膜与Ada-LSN网络结合，成功提取了骨架点集，并通过自定义的多边形求交与拟合算法实现了高精度的倾斜角度与核心位姿量测 。此外，为了解决视频流处理的性能瓶颈，我针对性地引入了动态跳帧（Frame Stride）策略，在保证量测精度的同时大幅提升了系统的实时处理帧率，最终实现了高效的量测数据结构化输出 。