无人系统与 AI 模型研发中,训练数据散落在端侧设备和多个系统里:采集回传链路不可靠、弱网环境容易丢数据;标注任务与数据集版本混乱,训练用了哪批数据说不清;模型评测失败的样本难以回流再训练,迭代被数据环节拖慢。行业需要一套覆盖端侧采集、边缘回传、中心治理标注、数据集建设、模型训练评测与发布的全流程闭环平台,让数据资产持续沉淀、形成越用越好的数据飞轮。
点击空白处退出提示
无人系统与 AI 模型研发中,训练数据散落在端侧设备和多个系统里:采集回传链路不可靠、弱网环境容易丢数据;标注任务与数据集版本混乱,训练用了哪批数据说不清;模型评测失败的样本难以回流再训练,迭代被数据环节拖慢。行业需要一套覆盖端侧采集、边缘回传、中心治理标注、数据集建设、模型训练评测与发布的全流程闭环平台,让数据资产持续沉淀、形成越用越好的数据飞轮。
系统由端侧采集、边缘网关与中心主服务三部分组成:
端侧采集服务:基于 HAL 的设备数据采集与 RosBag 录制,配置驱动的采集策略与多触发规则(话题触发、事件触发),数据断点续传上报。
边缘网关:数据包落盘暂存与台账管理,只搬运不解析;断连自动兜底、失败按单重试,网络恢复后积压数据排空上传,保证弱网环境数据不丢。
数据接入与治理:多协议接入(ROS2 / HTTP / MQTT)、来源认证与断点续传;Schema 校验、通用质量评估、内容寻址去重,原始数据对象化沉淀。
数据标注:SAM3 自动预标注 + 人工标注与审核,标注任务与算法统一管理。
数据集建设:数据集构建、格式转换与版本管理,全程数据血缘可追溯,训练用哪一版一清二楚。
模型工厂与数据飞轮:算法与模型管理、训练与评测任务;评测不达标自动生成回标任务、重新标注并再训练,形成闭环迭代。
升级中心与数据服务:模型与软件制品版本管理、OTA 升级发布,数据目录、查询、订阅与血缘服务对外开放。
我担任数据闭环组 Leader,负责系统整体推进与核心服务开发。边缘网关由我独立负责(FastAPI,约 2900 行):设计落盘暂存 + 台账 + 断连兜底 + 积压排空的回传机制,解决专线抖动下的数据丢失问题;端侧采集服务为核心参与(约 1.2 万行),负责 RosBag 上传链路、服务层与 Kubernetes 部署;中心主服务(FastAPI + SQLAlchemy,约 4.6 万行业务代码)覆盖接入、治理、标注、数据集、模型工厂(含数据飞轮编排)与升级中心。项目难点在弱网可靠传输与全链路数据血缘,全系统标配单元 / 接口 / 冒烟 / 压力分层测试,主服务测试代码约 3 万行。

评论