在计量校准实验室中，数字万用表（DMM）的自动读数是产线校准、检定和测试记录数字化的关键环节。传统方式依赖人工目视判读并手抄记录，存在读数误差、记录延迟和人员疲劳导致的漏检风险，特别是在多工位并行作业、需要频繁切换量程的场景下效率低下。本项目面向福禄克 18B+ 这类七段数码管显示的万用表，解决“自动、准确、可追溯地读取仪表显示值”的产品问题。业务背景是将人工读表流程改造为机器视觉+大模型协同判读，用于后续与标准源输出值比对、自动生成校准记录，提升计量工作的自动化水平和数据可信度。
本项目核心功能是实现多工位下数字万用表 LCD 显示内容的自动识别，并控制机械手实现插拔，移动，按按钮，拧旋钮，并支持按量程确认小数点位数。具体功能模块包括：图像预处理模块（裁剪、缩放、灰度化、高斯模糊、Otsu 二值化）、小数点检测模块（基于三个候选窗口的暗像素占比进行 argmax 比较，结合量程表判断当前小数位数）、数字识别模块（调用 VLM 读取七段数码管数字字符，精简提示词聚焦 0/8 等易混字形）、标定参数管理模块（SQLite 数据库存储 per-model、per-station 的 LCD 区域、小数点窗口坐标、容差、验证结果等参数），以及 Halcon 复刻模块（将 CV 小数点检测逻辑用 HDevelop 实现并读取数据库 JSON 导出）。系统主要功能是：拍摄仪表照片后，自动输出完整读数字符串，并在按下 RANGE 键后确认量程是否切换成功。
我负责本项目从算法设计到工程落地的完整工作，包括：采集并整理 476 张 18B+ 标定照片，建立伪标签；设计并实现基于 Otsu + 暗像素窗口比较的小数点检测算法，通过 argmax 比较替代硬阈值，准确率 100%；用线性回归方法从数据中自动学习七段字形模板，解决 9 的底部段与标准字体差异问题；将同一套算法在 Halcon 中复刻，保证 CV 与 Halcon 结果一致；设计 SQLite 标定数据库（meter_model / meter_range / station / calibration / reading 五表结构），存储型号、量程、工位、标定参数与验证结果；编写 VLM 对比实验，验证 1100px + 精简提示词下数字串识别准确率 99.58%、单张耗时约 1 秒。技术栈包括 Python、OpenCV、SQLite、Halcon/HDevelop、Qwen VLM；实现亮点是把 CV 与 VLM 按各自擅长之处分工，CV 负责小数点位置和拒识信号，VLM 负责数字字符，二者协同达到 100% 端到端准确率；难点在于七段码字形不是标准字体、小数字/反光/梯度光照下的窗口漂移容易误判，以及 Halcon 与 Python 标定参数的格式对齐。
评论