番茄自主采摘机器人（RK3588 + ROS2 全栈整机交付）产品系统

设施农业（蔬菜大棚）采摘环节劳动强度大、人工成本高，客户希望用一台全自主移动采摘机器人替代人工：机器人在大棚内自主建图、导航到作业点，识别成熟番茄并用机械臂完成采摘、称重、入筐，低电量自动返回充电后续作。客户负责场景与展厅推广，需要我方从硬件选型、底盘结构到嵌入式固件、RK3588 系统与算法、Web 前端全链路独立完成并整机交付，面向非技术人员可一键演示。

1、NPU 端侧视觉：RKNN-Toolkit2 将番茄检测模型量化部署到 RK3588 的 6 TOPS NPU，独立 ROS2 节点实时推理，CPU 零负担；RealSense D435 深度图与 RGB 配准，输出番茄三维坐标、果径与成熟度，只采达标果实。
2、SLAM 建图与自主导航：前后双激光雷达点云融合消除车身遮挡盲区；Gmapping / Cartographer / SLAM Toolbox 三套建图方案按场景切换；robot_localization EKF 融合 IMU 与轮速里程计抑制履带打滑漂移；Nav2 全局规划 + 局部避障，支持定点作业、低电断点记忆与自动返航。
3、机械臂手眼协同：MoveIt2 运动规划 + 六轴机械臂 SDK，Eye-in-Hand 手眼标定把相机坐标系下的目标精确变换到机械臂基坐标系；柔性抱式硅胶机械爪无损抓取，状态机串起识别 → 抓取 → 称重 → 入筐 → 回位的连续多果作业。
4、主从控实时链路：STM32F407 FreeRTOS 从控负责双电机 PID 闭环、ICM20948 姿态、编码器测速、称重、PPM 遥控解析；与主控间自定义串口帧协议（帧定界 + 校验）；环境监测套件经 Modbus RTU 接入气象站、CO₂、NH₃ 等传感器。
5、Web 远程监控与一键演示：rosbridge WebSocket 浏览器控制台，虚拟摇杆、地图与实时位姿、传感器面板、视频回传；原地采摘 / 导航采摘 / 结束演示按钮化，任何人可操作；手动 / 自动 / 急停三态双保险。
6、工程化交付：systemd 多服务开机自启、上电即用；整机系统镜像备份与一键还原，支持批量量产；交付整机、全部源码、C# 上位机 PID 标定工具、说明书与演示操作手册。

我方一人贯通硬件选型 → 底盘结构 → 嵌入式固件 → RK3588 系统与算法 → Web 前端 → 交付部署的完整链路，整机于 2024-10 通过验收。
硬件平台：RK3588（4×A76 + 4×A55，6 TOPS NPU）主控，STM32F407 从控，RealSense D435 双目深度相机，前后双 TOF 激光雷达，ICM20948 IMU，六轴关节机械臂（臂展 650 mm，重复定位 ±0.5 mm），自研履带底盘（双 200W 电机、减震机构），48V 50Ah 电池约 6 小时续航。
软件栈：Ubuntu 22.04 + ROS2 Humble（colcon 多工作空间工程化管理），RKNN NPU 推理，SLAM / Nav2 / robot_localization，MoveIt2，rosbridge Web 前端，FreeRTOS 从控固件，C# WinForms 串口标定工具。
难点与解法：检测模型端侧实时性靠 RKNN 量化 + 推理 / 采集 / 抓取异步流水线；相机-机械臂坐标误差靠手眼标定多组数据交叉验证与人工微调；单雷达盲区靠前后双雷达融合；履带打滑靠 EKF 多传感器融合；非技术人员演示靠 Web 一键按钮 + 全自启 + 遥控三态切换；交付后环境复现靠整机镜像 + 扩容 / 随机 MAC 脚本一键还原。
沉淀的 RK3588 平台经验可直接复用：Linux 系统定制与驱动适配、systemd 部署与镜像量产、NPU 模型转换与端侧推理工程化、USB / MIPI 相机接入、多路串口 / RS485 与外部 MCU 协议通讯、ROS2 大型多包工程管理。