目前的采集系统,生产系统,第三方系统之间是数据交互、文件传输有两种方式,一是在业务系统使用定时任务或者接口,二是使用kettle定时抽取。在业务系统中使用定时任务或者接口,使得业务服务高耦合,导致后期维护困难。接口增多占用大量系统资源,增加业务系统运行风险。kettle-webs数据集成项目致力于解耦不同产品之间以及和第三方的数据交互。实现图形化设计,过程留痕,策略制定,预警,和非结构化数据(文件、图片、音频)可靠传输。
点击空白处退出提示
目前的采集系统,生产系统,第三方系统之间是数据交互、文件传输有两种方式,一是在业务系统使用定时任务或者接口,二是使用kettle定时抽取。在业务系统中使用定时任务或者接口,使得业务服务高耦合,导致后期维护困难。接口增多占用大量系统资源,增加业务系统运行风险。kettle-webs数据集成项目致力于解耦不同产品之间以及和第三方的数据交互。实现图形化设计,过程留痕,策略制定,预警,和非结构化数据(文件、图片、音频)可靠传输。
1、工作流管理,工作流构建,可拖拽设计。作业嵌套设计。
2、执行管理,工作流执行记录。
3、调度管理,调度工作流,任务并发,任务等待队列。
4、变量管理,用于工作流的变量配置。
5、预警管理,通知渠道。
6、监控管理,监控cpu,内存,磁盘,任务队列。监控规则设置。
7、日志管理,全流程日志追溯。日志审计。
8、系统管理,数据权限,用户管理,角色管理,权限管理,资源管理。
我负责ETL工作流开发,kettle作业开发,kettle嵌套作业导入工作流。
负责插件开发,ETL执行引擎开发。
项目使用了springboot,vue,mybatis,mysql。
对标kettle工具,除了大数据插件都实现了。不改kettle开发使用习惯,B/S架构,无损迁移已经上线的kettle作业。



评论