数享数据中台

项目分为“数据集成”、“数据规划”、“运营管理”、“数据治理”、“数据资产”、“数据可视化”、“服务支撑”、“平台配置”等模块；
我主要负责数据集成模块与数据资产模块，该项目中使用的是SpringBoot、MybatisPlus、Nacos、Redis、多线程、MQ，Datax
项目是面向广东省内的各个地市政务服务中心使用，每天有大量的采集任务，数据资产挂接等，同时在线人数在2W人左右，
其中使用频繁的功能有数据采集、数据工厂、数据目录、服务总线，这部分采用集群部署，达到高可用、高并发。
该项目难点在于如何让数据采集任务在不同的服务上均衡负载执行任务，采用将任务ID取模均衡负载到各台服务执行，
利用Redis单线程特性作为队列使用。每次提交任务会存在队列中，启用线程池中的线程执行队列任务。解决多线程中Datax日志输出错乱问题。