MediaWeave 流媒体主数据聚合与治理平台产品系统

MediaWeave 面向流媒体内容平台、影视数据中台和多源元数据治理场景，解决外部 Provider、CMS、Feed、爬虫等来源结构不一致、质量不可控、来源映射混乱、搜索索引与主库难保持一致的问题。系统以媒体主数据为权威核心，保留原始数据、统一领域模型、执行质量门槛和人工治理闭环，适合需要建设影片/剧集主数据、搜索服务、内容管理后台和数据追溯能力的平台。

项目包含 Provider 注册与健康检查、凭证管理、限流与调度、Raw Store 原始数据保留、Command Queue、六阶段 Canonical Pipeline、Data Quality Gate、DLQ 死信治理、Replay 重放、Master Media 主数据、Source Mapping 来源映射、Fact/Status 事实与状态记录、Outbox、Search Index 同步、重建中心、Checkpoint 监控、Admin Console、审计日志和运行观测等模块。管理台已接入 raw payload 查看、trace 检索、DLQ 处置、Outbox 重投、搜索索引一致性、主数据详情、字段审计、映射、事实和状态查询。

我主要负责 MediaWeave 的架构基线、后端领域模型、采集治理链路和管理台集成。后端基于 Java 21、Kotlin、Spring Boot、Gradle 多模块工程，按 atlas-common、atlas-bootstrap、atlas-provider-ingestion、atlas-provider-collector-app、atlas-canonical-pipeline、atlas-domain-storage、atlas-derived-stores 等模块拆分，使用领域事件、幂等键、trace_id、阶段快照、审计记录和分层/DDD 混合架构控制复杂度。前端管理台基于 React、TypeScript、Vite、TanStack Router、TanStack Query、TanStack Table、Radix/shadcn、Tailwind CSS 实现。实现难点包括多源数据契约版本化、六阶段 Pipeline 编排、质量评分准入、低质量数据分流、Golden Record 字段级合并、Raw 到主数据再到索引的可追踪链路，以及搜索索引重建和最终一致性监控。