立项旨在解决传统人工检测效率低、精度差,及2D视觉对细线、反光物失效的痛点。重点应用于电力高危作业、工业精密排线及深海医疗等场景。业务上旨在降本增效与保障安全,顺应AI与3D传感技术成熟带来的产业智能化刚性升级需求。
点击空白处退出提示
立项旨在解决传统人工检测效率低、精度差,及2D视觉对细线、反光物失效的痛点。重点应用于电力高危作业、工业精密排线及深海医疗等场景。业务上旨在降本增效与保障安全,顺应AI与3D传感技术成熟带来的产业智能化刚性升级需求。
一、多传感器数据采集模块
融合深度相机、可见光相机及激光雷达,在强光、复杂背景等干扰下同步采集RGB图像、深度图像与点云数据。
二、线缆目标识别与分割模块
基于深度学习算法(如YOLO、DeepLabV3+等)对线缆进行精准检测与像素级分割,从复杂背景中提取线缆特征与中心线。
三、三维测量与计算模块
将深度数据转换为三维点云,计算线缆直径、长度、曲率及空间位姿,测量精度可达0.3-1mm。支持线缆间距检测、排线间隙分析与缺陷识别。
四、定位与位姿估计模块
对线缆进行基于特征点的粗匹配和基于拟合算法的精定位,为机械臂等执行机构提供精确的目标位姿数据。
我负责全部项目,包括yolo模型的专项训练
1. 技术栈
· 核心语言:C++(高性能要求)。
· 硬件驱动:Intel RealSense SDK 2.0(采集RGB-D图像,并利用rs2_deproject_pixel_to_point实现2D像素到3D物理空间的转换)。
· AI推理引擎:ONNX Runtime(部署YOLOv8-seg实例分割模型,实现线缆像素级分割)。
· 计算机视觉库:OpenCV(用于图像预处理(CLAHE增强)、轮廓提取、边缘分割及可视化绘图)。
· 运行环境:Windows(依赖windows.h和shlobj获取桌面路径)。
2. 架构亮点
· 双模冗余机制(AI优先 + 传统视觉兜底):优先使用YOLO分割掩码提取边缘;若模型加载失败或推理异常,自动降级为Canny边缘检测传统算法,保证了系统在工业现场的鲁棒性。
· 数据流对齐与增强:利用RealSense的align模块将深度图对齐到RGB视角,解决视差问题;针对黑色线缆引入颜色反转及CLAHE自适应直方图均衡化,提升弱纹理目标的分割精度。
· 端点裁剪(Trim Ends)策略:专门针对线缆两端因遮挡或分割模糊导致的“错误闭合连线”问题,在计算前自动裁剪边缘两端的异常点,防止噪声污染曲率计算结果。
3. 实现难点与应对
· 难点1:3D曲率精确计算:空间点云离散且噪声大。代码采用三点定圆法(外接圆半径)计算局部曲率,并通过多采样点统计均值/标准差来降低单点误差,而非直接拟合整条曲线。
· 难点2:边缘鲁棒分离:如何从闭合轮廓中分离出上下(或左右)两条独立边缘?代码通过寻找轮廓中最远点对进行分割,而非简单的水平/竖直扫描,使其能适应任意弯曲姿态的线缆。
· 难点3:跨平台与依赖管理:模型路径采用硬编码且包含find遍历逻辑;深度单位设为0.001mm,需注意Realsee




评论