某某集团公司数据中台项目产品系统

一、核心痛点
集团在推进智慧能源、AI 安全生产数字化建设过程中，首要瓶颈是**数据基础能力不足**，现有数据无法支撑跨厂域的业务协同分析与智能业务应用。
1. 数据孤岛严重
集团业务覆盖煤矿、洗煤厂、焦化厂、化工厂、加氢站、物流车队。各分厂独立建设信息系统，包含用友、金蝶、自研 MES、PLC 工控等多套异构系统。各系统数据格式、编码、数据规范互不兼容，跨业务域数据无法关联打通。例如焦炭质量数据与高炉温度数据无法联动分析，跨厂业务协同分析难以开展。
2. 数据标准缺失，数据质量差
早期信息化建设缺乏统一规划，同一业务对象在不同系统命名、口径不一致。例如煤种在不同系统分别记录为 “肥煤”“FM”“1 号原料”；产值指标统计口径各分厂不统一。脏数据、歧义数据大量存在，直接导致业务分析结果失真，无法支撑可信决策。
3. 数据实时能力不足
设备异常监控、生产工况研判、经营行情跟踪等业务场景对数据时效性要求高。当前数据抽取 ETL 采用 T+1 日批处理模式，数据滞后，无法支撑实时工况监控、异常快速处置等实时业务运营场景。
4. 缺少统一语义层与业务标签体系
当前仅完成原始数据汇聚存储，只建成基础数据湖，未建立集团统一指标字典、业务标签体系。数据仅有原始数值，缺少业务含义定义，业务人员难以直接理解数据，跨系统指标口径对齐困难，数据分析门槛高。
二、立项原因
1. 集团数字化战略落地刚需
集团规划 2027 年落地智能排产、安全生产智能问答等数字化业务应用。上述业务应用的底层基础是标准化、可互通、高质量的数据底座；缺少统一数据中台，上层业务应用就缺少可靠的数据来源。
2. 数字化建设窗口期，提前构筑数据资产壁垒
当前集团各分厂信息化系统持续产生海量生产、安全、经营数据，越早完成数据资产梳理、标准化治理、统一底座搭建，越能沉淀企业专属业务知识库。持续沉淀标。

项目名称：《 面向工业大模型的企业级数据底座与语义中台建设项目》（HY-DIAC），依托数据生命周期逻辑搭建 6 大核心业务模块 + 1 个贯穿全流程安全模块，支撑集团煤矿、洗煤、焦化、化工、加氢、物流多业态数字化底座建设。M1 多源异构数据接入与同步，承担语料采集工作，支持 30 余种工业协议解析，采用批流一体集成、CDC 增量捕获技术，采集工控、ERP、巡检 PDF 等异构数据，解决数据进不来难题。M2 数据标准与数据治理负责数据清洗，搭建主数据 MDM 统一物料、设备编码，依托数据质量规则引擎、元数据管理、标准门户，统一业务名词与指标口径，治理脏数据。M3 数据湖与数据仓库建设作为统一存储载体，搭建 ODS 贴源层、DWD 明细层、ADS 汇总层，搭配 Spark、Flink 双计算引擎与时序数据库，承载全量历史、生产经营数据。M4 指标平台与语义层为项目核心亮点，构建统一指标目录、业务标签体系、指标百科知识库，支持 NL2SQL，赋予数据业务语义，产出可向量化语料，解决机器看不懂业务的痛点。M5 数据资产管理与数据服务，构建 API 网关、数据服务集市、可视化看板，完成资产盘点，提供安全可控的数据调用与 RAG 支撑能力。M6 大模型专属语料工厂为本项目差异化模块，自动生成 QA 三元组，搭建知识切片向量化流水线，配套人工标注反馈机制与幻觉校验基线，产出可用于微调、检索的高质量语料。M7 数据安全与权限管控贯穿全链路，实施数据分级分类、列级权限、动态脱敏、全链路审计，筑牢安全围栏，满足等保合规。整体业务链路：M1 数据采集→M2 标准化治理→M3 分层存储→M4 构建业务语义→M5 开放数据服务→M6 构建向量知识库，为集团工业大模型智能排产、安全生产问答提供可靠底座，破解集团数据孤岛、口径混乱、实时性不足、缺少业务语义等核心痛点。

本人作为项目核心数据技术牵头人，负责集团煤焦化、氢能、物流多业态数据底座全链路建设工作。一是数据接入与 ETL 架构设计，调研 DCS、MES、ERP 等异构系统协议，搭建批流一体采集任务，汇聚 OT 设备毫秒级数据与各分厂数据库业务数据，解决工业网与办公网隔离场景下的数据安全传输。二是主导数据标准与治理落地，制定物料、设备、客商主数据编码规范，开发数据质量稽核规则并配置告警，搭建元数据与数据血缘能力，实现数据来源可追溯。三是完成湖仓分层模型设计，搭建 ODS/DWD/ADS 数仓分层，开发 Flink 实时计算任务，处理乱序、迟到数据，开展数仓性能调优保障查询秒级响应。四是语义层与标签体系工程化，构建指标字典、业务标签，开发语料生成流水线，完成文档切片、向量化并落地 Milvus 向量库，支撑大模型 RAG 检索。五是数据服务与安全建设，封装标准化数据 API 网关，配置列级权限与动态脱敏，保障核心经营数据隔离管控。

项目采用湖仓一体架构，数据源覆盖 OT 工控与 IT 业务系统；接入层依托 Flink CDC、SeaTunnel、MQTT/OPC-UA 连接器；存储计算层使用 HDFS/OSS、Spark、Flink、Doris、ClickHouse、TDengine；治理层选用 Apache Atlas、dbt；语义 AI 层搭载 Milvus、BGE 向量化模型；服务层搭配 API 网关与 Redis。项目亮点：一是实现工业物理隔离网络下批流一体集成，支持断点续传，适配车间网络抖动；二是搭建能源行业专属指标语义层，建立指标与物理 SQL 映射，支撑 NL2SQL；三是设计大模型防幻觉校验机制，将 AI 输出与底层事实数据交叉比对，保证结果可信。项目难点：OT 时序数据与 IT 业务工单时间对齐，通过设备 ID + 时间戳关联、降采样实现数据联动。