数据采集交换平台聚焦数据底层,主要实现数据的“多源汇聚”,以标准化、模块化的方式进行多源异构数据资源的采集、转化和存储;
提供采集全面、动态可配的数据同步机制,实现数据的获取、策略配置、任务配置、任务调度等数据接入功能。
支持各种主流数据源,支持丰富的ETL场景,拥有完备的监控日志确保数据交换过程的精准、高效。
平台主要包括数据资产管理、数据采集、数据交换和运维监控等功能。
责任描述:
1. 结合需求,构建系统技术架构
2. 其中包括对底层引擎(kettle)的二次封装与改写,扩充插件,并将其内置于平台。
3. 实现了分布式任务,解决了多节点任务重复,管理混乱的情况。
4. 平台实现了多种类型数据源的接入,包含RDBMS、大数据存储、http接口及文件类型等多种数据源。
点击空白处退出提示

















评论