轻量级数据同步平台产品系统

企业各业务系统、数据库、日志存储数据相互隔离，数据分析、报表平台需要统一数据供给，商用数据同步工具成本较高。基于开源 DataX 做二次开发，搭建通用离线数据同步通道，支撑客户分析、经营统计、数据仓库等各类数据流转场景。

DataX 采用插件化架构，支持 MySQL、国产数据库、文件、ES 等多类数据源全量 / 增量同步，内置分片并发、断点续传、脏数据捕获、流量限制、数据转换能力，可完成数据抽取、清洗、批量入库，稳定为数据仓库、可视化 BI 平台提供数据源。

1、个人负责工作
完成 DataX 源码二次开发与私有化部署；自研国产数据库读写插件、新增敏感数据脱敏转换器；扩展同步全链路日志与异常告警；封装调用 API 对接内部数据平台；优化大批量同步性能，输出配置规范与运维文档。
2、技术栈、架构、亮点、难点
技术栈：Java8、DataX 内核、Druid 连接池、Maven；支持 MySQL、达梦、Elasticsearch 等数据源。
架构：插件分层架构，读取、转换、写入、任务管控模块解耦，支持多任务并行调度。
亮点：依托开源框架降低采购成本；自主扩展数据脱敏、同步审计功能；优化分片写入策略，提升海量数据同步效率；对外提供 API 便捷集成业务系统。
难点：原生缺少国产数据库适配插件，需从零开发读写逻辑；大批量同步易造成数据库负载过高，自研动态流控；内网离线环境依赖包、驱动适配调试复杂。