数据团队长期采集各大平台公开数据，但缺少统一的数据资产管理平台。业务与对外团队只能线下口头询问"有哪些数据集、支持什么字段、规模多少、更新频率、能否提供样例"，导致信息口径不一致、沟通成本高、报价和交付效率低。
行业场景与业务背景：属于 AI 训练数据服务行业的数据中台场景。多平台商品、内容、博主、房产、影音等外部公开数据被持续采集入库，需要统一平台完成总量与今日新增统计、存储规模统计、模态构成分析、维度打标、数据集列表/详情/推荐与更新情况展示，并将这些能力通过开放接口输出，支撑对外报价单、数据字典、样例包与售前交付。
数据集总览看板：统计数据总量、今日新增、存储规模、数据集数量、覆盖平台、数据构成（模态）、音视频种子分布、各平台数据量 Top8、近 14 天新增趋势，以及数据集维度明细表。
数据集维度统计与配置：支持对接多套 ClickHouse/MySQL 实例，按时间字段与统计口径聚合总量、今日新增、存储体积和趋势，可配置数据源是否计入总量、种子量、Top 榜等。
数据集列表/详情/推荐/更新历史：支持关键词、平台、维度标签筛选与排序，可导出 Excel；详情展示字段清单、交付格式、样例与 Demo；提供同平台相关推荐，以及 30/90 天更新分布。
开放 API：提供 /open/v1 接口，含渠道/API Key 鉴权、IP 限流、请求埋点与调用次数统计，向其他渠道输出数据集标签、列表、详情、推荐、更新情况。
多平台数据集展示接口：覆盖 Amazon、Instagram、Zillow、LinkedIn、YouTube、Facebook、Twitter、Netflix、Vimeo、TikTok 、抖音等。
运维与任务体系：数据库监控预警、定时任务调度与日志、任务列表、视频/音频/图片下载任务。
用户与权限：账号与钉钉免登登录、JWT 鉴权、用户管理与角色控制。
负责后端 API 服务的设计与开发，包括数据集总览与维度统计服务、多平台数据集列表/详情/推荐接口、开放 API v1/v2、定时任务与监控预警模块；参与数据集 AI 打标、分类管理与前端管理后台联调。
技术栈与架构：后端采用 Go 1.26 + Gin，数据层使用 GORM(MySQL)、ClickHouse、Redis、RabbitMQ，配置用 Viper，对象存储兼容 S3/TOS；前端采用 Vue 3 + Vite + Element Plus + Axios，整体通过 Docker 部署。
实现亮点与难点：一是多实例异构数据源统一统计，一套配置表即可接入多套 ClickHouse/MySQL 并按时间字段聚合总量、新增、存储与趋势，新增数据源无需改代码；二是大表统计与性能，采用配置驱动口径并在服务层集中处理快照、缓存与 Top 聚合；三是开放接口兼顾安全与性能，实现渠道鉴权、进程内缓存、IP 限流、异步埋点与调用计数；
评论