在机器狗巡逻中,识别打卡点位是否常闭门关闭,街道有无垃圾,员工有没有抽烟,垃圾桶是否满溢等场景业务问题。在电梯里,人行道上识别是否有人,能不能进电梯,距离多远等问题。
点击空白处退出提示
在机器狗巡逻中,识别打卡点位是否常闭门关闭,街道有无垃圾,员工有没有抽烟,垃圾桶是否满溢等场景业务问题。在电梯里,人行道上识别是否有人,能不能进电梯,距离多远等问题。
机器狗的背包开发主要涉及ROS系统调用,在巡检这个场景里,主要针对建图,定位,避障和导航四大任务,建图和定位使用了传统的slam技术进行激光点云来构建,但是面对长走廊大玻璃,动态人物等场景却无能为力,只能使用相机视频流里记录的视频与照片来实时判断。
我负责视觉-语义导航模块的算法开发,在端侧部署yolo11n做实时目标检测和yolo26_depth做实时深度检测,模型在端侧rk3588的NPU上并行推理,推理速度最高能达到10FPS,完全满足日常需要,配合多帧融合算法,可以保证足够高可用的目标检测效果,通用目标使用微调方法训练模型,应对特定目标(如抽烟,垃圾桶满溢与否)写分步逻辑融合判断。



评论