ETL数据采集工具产品系统

1、项目聚焦异构数据源之间的数据采集，适用用于中大型企业的数据采集、数据集中处理等需求，为数据分析提供平台支撑
2、适用于用户数据量大或其他数据源分散的数据企业

1、数据源管理：目前支持包括关系型数据库、mongodb、es、kafka等数据库。
2、数据采集任务流程配置：使用antv的流程画布功能实现了数据采集任务的可视化流程编排设计。
3、数据清洗规则配置：支持数据清洗规则的配置，配置完成的数据清洗规则可以通过拖拽加入到任务流程画布中，实现数据清洗。
4、数据表设计：复刻了mysql和tdengine的数据表设计功能，可以直接在web管理端自行设计数据表，并写入到数据库。
5、异构数据传输：数据采集传输底层基于datax，全部升级到了jdk17版本。同时web端增加实时数据采集，支持kafka和mqtt。
6、http接口数据采集：通过接口配置化页面，动态发布http接口，第三方接入动态接口后，可以实现数据通过接口采集入库。

基于阿里datax的基础上开发，开发全新的web管理页面、增加实时数据采集，目前完成的功能包括关系型数据库、mongodb、es、kafka等数据库数据的采集功能，并且支持http接口数据的采集功能。整个项目是我自己开发的，负责前后端的开发，前端使用vue3、后端使用springboot。