数据闭环系统(AI 训练数据全流程平台)产品系统

我要开发同款
Neil2026年11月17日
3阅读

技术信息

语言技术
Python、Redis
系统类型
Web
行业分类
边缘计算、云计算

作品详情

行业场景

无人系统与 AI 模型研发中,训练数据散落在端侧设备和多个系统里:采集回传链路不可靠、弱网环境容易丢数据;标注任务与数据集版本混乱,训练用了哪批数据说不清;模型评测失败的样本难以回流再训练,迭代被数据环节拖慢。行业需要一套覆盖端侧采集、边缘回传、中心治理标注、数据集建设、模型训练评测与发布的全流程闭环平台,让数据资产持续沉淀、形成越用越好的数据飞轮。

功能介绍

系统由端侧采集、边缘网关与中心主服务三部分组成:

端侧采集服务:基于 HAL 的设备数据采集与 RosBag 录制,配置驱动的采集策略与多触发规则(话题触发、事件触发),数据断点续传上报。
边缘网关:数据包落盘暂存与台账管理,只搬运不解析;断连自动兜底、失败按单重试,网络恢复后积压数据排空上传,保证弱网环境数据不丢。
数据接入与治理:多协议接入(ROS2 / HTTP / MQTT)、来源认证与断点续传;Schema 校验、通用质量评估、内容寻址去重,原始数据对象化沉淀。
数据标注:SAM3 自动预标注 + 人工标注与审核,标注任务与算法统一管理。
数据集建设:数据集构建、格式转换与版本管理,全程数据血缘可追溯,训练用哪一版一清二楚。
模型工厂与数据飞轮:算法与模型管理、训练与评测任务;评测不达标自动生成回标任务、重新标注并再训练,形成闭环迭代。
升级中心与数据服务:模型与软件制品版本管理、OTA 升级发布,数据目录、查询、订阅与血缘服务对外开放。

项目实现

我担任数据闭环组 Leader,负责系统整体推进与核心服务开发。边缘网关由我独立负责(FastAPI,约 2900 行):设计落盘暂存 + 台账 + 断连兜底 + 积压排空的回传机制,解决专线抖动下的数据丢失问题;端侧采集服务为核心参与(约 1.2 万行),负责 RosBag 上传链路、服务层与 Kubernetes 部署;中心主服务(FastAPI + SQLAlchemy,约 4.6 万行业务代码)覆盖接入、治理、标注、数据集、模型工厂(含数据飞轮编排)与升级中心。项目难点在弱网可靠传输与全链路数据血缘,全系统标配单元 / 接口 / 冒烟 / 压力分层测试,主服务测试代码约 3 万行。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论