ai视觉检测系统产品系统

本系统应用于制造行业的装配质量检测环节。在传统生产线中，零部件装配完整性检查依赖人工目视检验，存在效率低、漏
检率高、标准不统一等问题。本系统通过视觉AI技术实现自动化检测，可实时判断零部件装配是否完整、工序是否合规、限位标签是否
正确，将检测结果同步至PLC系统控制生产流程。适用各类零部件的多工序装配检测场景。

系统提供两种互斥的检测模式。检测模式基于YOLO目标检测识别零件状态，通过类别标签自动判断每个工序的OK或NG状态，NG状态具有
粘性锁定特性。规则SOP模式基于几何条件判断，结合YOLO目标框和MediaPipe手部关键点，识别取件、检测、放回、限位读取四类工序
，其中检测工序支持内窥镜拍照触发，限位工序通过OCR读取数字标签并投票验证。

系统支持多相机并行工作，每个相机独立运行完整的检测管道。提供操作员和工程师两种角色，操作员仅能查看检测结果和SOP状态，
工程师拥有完整配置权限。支持零件配置切换，可为不同零件号预设相机数量、型号权重、连续检测开关和MediaPipe开关。

系统通过三种PLC协议通信，Modbus TCP服务器监听线圈变化触发检测，RawTCP服务器接收单字符命令，Omron
FINS支持心跳监控和轮询模式。检测结果通过标准代码返回PLC。
历史记录存储于SQLite数据库，支持按模式、型号、零件号筛选查询。系统提供实时日志显示、图像浏览器、视频文件检测等辅助功能，可拓展为SQL server。

技术栈

系统基于Python语言开发，界面层使用PySide6实现Qt跨平台桌面应用。视觉检测核心采用Ultralytics
YOLO系列模型进行目标检测和分割，支持TensorRT推理加速。手部追踪使用Google MediaPipe HandLandmarker提供21点关键点识别。O
CR文字识别基于EasyOCR实现限位标签读取。数据存储使用SQLite数据库WAL模式。PLC通信支持Modbus TCP、RawTCP、Omron
FINS三种工业协议。相机接口支持海康威视SDK和OpenCV通用接口。图像处理使用OpenCV和Supervision标注库。

架构

系统采用分层架构，业务逻辑层与界面层分离。核心设计为多管道架构，每个相机对应一条完整独立的检测管道，包含图像捕获、目标
检测推理、手部追踪推理、规则判断引擎和显示模块。配置系统采用单例模式实现全局统一配置管理和自动持久化。检测逻辑分为基于
标签的检测模式和基于几何条件的规则模式两套状态机。线程模型包括相机捕获线程、推理线程、文字识别后台线程、工控通信轮询线
程，跨线程通信采用信号槽机制。

亮点

系统实现缺陷检测与装配工序视频检测的多相机协同工作。缺陷检测相机负责识别零件表面质量和装配完整性，装配工序相机监控操作
人员的取件检测放回全流程，内窥镜相机在特定时机触发拍照完成深度检测。多个相机各司其职又互相配合，装配相机检测到内窥镜到
位时触发内窥镜相机拍照，所有相机的检测结果汇总后统一判断装配工序是否合格，形成完整的质量检测闭环。