DataXP数据同步中台开源项目

集成XXLJOB调度源码和阿里开源数据同步工具DataX3.0的一个数据同步平台，拥有web可视化的管理后台系统，docker容器化快速部署。
数据集成（重点，用过阿里云DataWorks的同学能够感受到熟悉的感觉，没错参考核心的几个DataWorks操作）
1 离线同步 - 基础功能
主要负责异构数据源的数据同步，目前UI上只支持关系型数据库，设计上支持扩展，底层逻辑是，设计出DataX所需要的JSON，给到调度，调度发送给Node节点，Node节点丢给DataX去执行就好了，执行日志全部通过XxlJob的方式输出，UI上面为了体验友好做了改造，启动执行立刻弹出日志窗口，增加暂停/继续刷新和弹出窗终止任务等实用功能，体验上单点聚合不用切换到别的地方去。
2 数据开发 - 基础功能
这里重点借助公共库表的设计，参考DataWorks思路，通常离线同步只是两个跨数据源的库表同步，如果需要一个中间过渡的公共库做临时表的数据处理，那么数据开发就是做这个事情的，可以做一些update/delete等数据清洗，集成了一个SQL编辑器，后台提供接口支持，开发好的sql脚本给到调度，调度发送给Node，Node节点直接执行发送给公共数据库，因为是更新SQL，没有借助DataX，直接发送到源库执行，也可以全程借助DataX，不多说，公共库只支持Mysql。
3 作业 - 高级功能
思路就是离线同步和数据开发看作是一个个单一任务，那么一个作业就是为了把一个个单一的串起来，因为有时候一个完整的数据同步可以涉及多个同步开发步骤，作业属于一个高级功能项.