● 项目基本构成:数据采集平台+数据共享平台+数据质量平台(每个平台外挂个基本用户权限系统)
● 项目技术点:spring微服务架构+springcloud的解决方案+关系库(Mysql+Sqlserver+Orcale+Db2+Pgsql)+非关系库(redis,mongodb,hive,hbase)
datax(数据同步重要组件)+任务调度(Apache dolphinscheduler分布式调度服务)
● 主要功能模块:
数据采集平台(重点项目,侧重在数据同步,和任务调度):
1)数据源管理,
a)主要是各种关系库和和mongodb,hive,hbase,和文本文件之间实现二维表的数据同步
b) 文件同步(hdfs,sftp,ftp)实现文件源信息配置,通过编排同步任务,经过调度框架,实现文件同步
3) 通过webservice和restful
获取相关接口数据,编排编排同步任务,经过调度框架,实现接口数据放到目标源数据同步
2)编排管理,实现拖拉拽,在可视化界面配置数据源同步任务,也是配置同步任务,与调度任务。
3)调度管理,我们这使用时一个Apache dolphinsche