背景:数据中台产品群产品结构复杂,数据中台的部署需要依托于大数据平台的底座,这决定了市场上存在很多公司对于数据中台的需求度不高,因此需考虑一种无需依托大数据平台的轻量化的数据开发工具。
轻量化 ETL 平台:通过拖拉拽的方式配置工作流的方式,实现了对数据进行抽取、加工、回流等工作。
根据开源的 kestra 的0.5.3版本进行二次开发的,支持可插拔的插件方式部署。相关技术栈:micronaut、gradle、mysql、jdbc等。
主要功能如下:
任务流管理,任务执行记录,任务调度,执行日志,任务编排,数据源管理,数据服务 api ,文件导入等。
任务流管理:是通过拖拉拽的方式实现的,每个工作流节点都可以进行任务编排填写相关配置,编排好的工作流节点 通过连线的方式指向下一个工作流节点,依次类推设计好工作流。同时可以通过 cron 表达式配置该任务流执行的时间,或者配置为 webhook 方式请求的 api 接口等。
任务执行记录:编排好的工作流可以根据 cron 表达式的时间执行,也可以根据外部接口调用方式执行,
每次执行都会有相关执行记录,进度条,状态,执行日志以及