此ETL工具的特点是速度很快(kettle需要同步3个小时的数据这个工具只需要半个小时就能全同步完),分组管理比较灵活(适用于当时公司的诉求),缺点是支持的数据库字段类型不够全面,只支持最常用的,JSON等复杂类型无法处理
项目分为三个核心模块
1. 分组模块,对调度任务进行定义以及分类
2. 调度模块,每个分组会绑定一个调度任务,调度任务执行具体的定时任务,包含了corn表达式的解析功能以及定时执行任务的功能,其特点是上一个调度任务未执行完,当前调度任务会等到上个调度任务执行完之后再执行
3. SQL解析工具,此ETL工具的特点就是根据SQL来进行数据同步的,所以对源DB表的查询并解析成目标DB的insert sql是最核心功能
点击空白处退出提示
评论