某数据中心系统产品系统

本项目旨在解决企业长期存在的数据孤岛、报表滞后及口径混乱等核心痛点。在金融与零售行业背景下，业务系统（如银行信用卡中心、KA商户管理）产生海量交易数据，且大量遗留MySQL数据库存在复合主键、无增量字段及单表超4亿行等复杂情况。传统CDC方案无法稳定抽取，导致数据时效性差，无法满足银行级日清对账、商户经营看板及实时营销效果追踪的业务需求，亟需构建统一、实时的数据服务体系。

项目构建了企业级统一数据中台，主要功能模块包括：
数据采集层：部署自研Flink CDC引擎与标准MySQL CDC双引擎，实现对异构数据源的稳定捕获。
数据传输与计算层：利用Kafka作为统一消息总线进行流量削峰，通过Flink进行实时清洗、关联与打宽，？处理复杂离线聚合任务。
数据存储与服务层：采用StarRocks作为统一OLAP引擎，提供亚秒级多维分析能力；对外提供标准化API、自助查询平台及BI报表对接功能，实现数据资产的统一管理与服务化输出。

作为系统架构师，我主导了整体架构设计与核心难点攻关。针对遗留系统大表（单表4.2亿行、1.8TB）及复合主键导致传统CDC频繁OOM的问题，我负责自研基于Flink DataStream的增强型CDC引擎。我设计了多字段组合主键的增量快照分片策略，将大表切分为并行子任务，并实现了“全量分页批扫+增量Binlog监听”的混合模式，保障Exactly-Once语义。技术栈采用Flink、Spark、Kafka及StarRocks。实现亮点在于引入动态背压控制与内存熔断机制，有效防止源库压力过高，最终实现日均处理2亿条增量数据，端到端延迟控制在5分钟内。