面向具身智能机器人、服务机器人及智能巡检机器人等应用场景,系统基于ROS2构建机器人软件框架,融合视觉识别、大语言模型、语音交互及运动控制能力,实现机器人环境感知、目标识别、自然语言交互、自主决策及任务执行,可应用于智能导览、巡检、安防及科研开发等领域。
点击空白处退出提示
面向具身智能机器人、服务机器人及智能巡检机器人等应用场景,系统基于ROS2构建机器人软件框架,融合视觉识别、大语言模型、语音交互及运动控制能力,实现机器人环境感知、目标识别、自然语言交互、自主决策及任务执行,可应用于智能导览、巡检、安防及科研开发等领域。
系统支持USB摄像头及深度相机图像采集,结合视觉算法识别目标物体,通过大语言模型完成语义理解及智能问答,并根据识别结果控制机器人完成导航、动作执行及语音播报。同时支持ROS2节点通信、状态发布、设备管理、日志输出及多模块协同运行,实现机器人整体业务流程闭环。
基于ROS2 Humble平台,采用C++与Python混合开发,完成视觉节点、大模型节点及机器人控制节点开发。在WSL2环境下针对无硬件设备情况,通过Mock技术解除串口、底盘、运动学及语音模块依赖,实现本地独立调试,同时解决ROS2节点通信异常、依赖冲突及环境配置等问题,提高开发及测试效率。



评论