企业异构数据库数据同步与任务调度平台产品系统

企业内各数据集成、异构数据库同步、数据仓库数据采集、业务系统间数据交换、WEB配置统一管理

面向企业内部多业务系统的数据同步需求，实现MySQL、Oracle、SQL Server、PostgreSQL、ClickHouse等异构数据库之间的数据采集、转换、同步和任务调度。

平台通过SeaTunnel/DataX作为数据同步执行引擎，结合DolphinScheduler完成任务编排与定时调度，可统一管理不同数据源、同步任务及任务运行状态。

主要功能包括：

多类型数据库数据源接入；
全量及增量数据同步；
数据字段映射与类型转换；
数据同步任务配置；
定时任务调度；
同步任务运行状态查看；
运行日志及异常信息查询；
Docker化部署；
JDBC驱动及不同数据库版本适配；
数据同步异常排查及任务恢复。

适用于企业不同业务系统之间的数据交换、数据仓库数据采集及历史系统数据迁移等场景。

负责数据同步整体技术方案设计、环境部署、数据源接入、同步任务配置及运行问题排查。

项目采用Docker Compose部署SeaTunnel及DolphinScheduler运行环境，通过JDBC连接企业内部不同类型数据库。

针对不同数据库的数据类型差异、字段映射及数据量特点设计对应同步方案，并通过SeaTunnel配置Source、Transform和Sink完成数据采集、转换及目标库写入。

通过DolphinScheduler实现同步任务统一调度，根据业务需求配置定时执行、任务依赖及运行状态管理。

实施过程中完成了MySQL、Oracle、SQL Server、ClickHouse等多类型数据库的连接及数据同步适配，并处理JDBC驱动版本、连接器版本、数据库字段类型、Docker网络及任务运行环境等问题。

同时对任务日志和异常信息进行统一分析，建立同步任务部署、运行、排查及恢复流程，提高数据同步任务的可维护性。