传统自助餐/食堂称重计价依赖人工，存在效率低、易出错、人力成本高等痛点。现有智能餐厅技术在实际落地中面临四大核心产品问题：一是取餐行为识别不准确，多人同时取餐或路人手臂摆动易导致误判报警；二是餐具重量误差，顾客不规范使用餐具导致称重不准；三是人脸信号丢失，顾客低头取餐时人脸识别失败导致无法结算；四是双摄像头对不齐，人脸摄像头与行为摄像头位置偏差导致身份与行为绑定错误。本项目旨在通过多模态融合算法，彻底解决上述问题，实现精准、无感的自动化计价。
本项目落地于智能餐饮/团餐自助称重场景。业务背景是餐饮门店对降本增效和数字化升级的迫切需求。由于不同门店的取餐台高度、摄像头俯角、菜盆位置等物理环境差异巨大，且现场存在逆光、手臂摆动等复杂干扰，系统必须高度适应真实物理环境。目前该方案已成功落地50+门店，稳定支撑3路1080P视频流，有效提升了门店的运营效率与顾客就餐体验。
1、多目标追踪与行为识别模块：基于YOLOv8-Pose与OSNet ReID识别打餐动作。纯人脸无法判定多人场景下谁在取餐，融合行为识别后可精准判定取餐者；多人同时取餐时触发声光提醒并留存数据供追溯。
2、人脸信号丢失补偿模块：行为摄像头与人脸摄像头绑定，解决取餐中因低头、摇头导致的人脸信号丢失问题，提高订单准确性及会员信号展示稳定性。
3、精准取餐动作判定模块：设筛选线快速剔除不可能取餐的人体框；在称重台与餐台边缘线间划定参考区域。结合人体肢关节点与餐具关键点，当关键点进入参考区域且重量持续变化超预设时间（如1秒），才判定有效取餐，误报率从20%降至4.8%。
4、重量×视觉时空对齐模块（核心）：以三点滑动均值判定重量曲线“稳定→不稳定”跃变点作为结账锚点。利用动作先于重量变化的特性，匹配摄像头记录采用非对称时间窗（前1500ms/后500ms）取时间差最小的快照，实现视觉与重量信号精准对齐。
5、双摄对齐与工程支撑模块：通过检测目标称重台在行为画面中的坐标划定最佳识别范围，将行为图像与人脸图像中心线沿Y轴对齐，保证身份与行为准确匹配。包含四线程解耦架构、TensorRT FP16加速、离线回放与参数热更新系统。
1、算法选型：YOLOv8-Pose识别关键点，输出人体框、17个肢关节点及餐具关键点。追踪用DeepSort+ReID，参数max_dist=0.17、max_age=10、n_init=3，平衡晚确认与遮挡召回。选OSNet，同等精度参数量更小，3路并发不瓶颈。
2、取餐判定：设筛选线，人体框底部未超过则排除。称重台与餐台边缘线间设参考线，与底边形成参考区域。需餐具菜品选“手部+餐具关键点”，无需餐具仅手部。关键点入区域且重量持续变化超1秒，判定取餐，避免餐具误差和摆臂误判。
3、时空对齐与绑定：连打两菜无交互时，以重量曲线“稳定→不稳定”跃变点为结账锚点，三点滑动均值判稳。动作先于重量变化，用非对称时间窗（前1500ms/后500ms）取时间差最小快照。识别身份生成id，与取餐人体框动态绑定，追踪完成时间，重量与身份绑定结算。
4、双摄对齐与工程：检测目标称重台坐标，划最佳识别范围提取行为图像，与人脸图像中心线沿Y轴对齐，保证人体框与人脸框匹配。四线程解耦（取流/推理/追踪/存证）+TensorRT FP16，单路延迟从200ms压至
评论