智慧图书馆数据平台，具备内外多源数据的汇聚整合、提纯加工、数据管理和数据服务的能力，形成能方便支撑数据应用的图书馆数据体系。项目技术： 微服务组件：Nacos(服务发现)，Dubbo(RPC远程调用)，Apisix(网关)，Spring Boot，Mybatis Plus，Redis，MySQL，Vue.js 大数据组件：DataX(离线数据同步)，Hdfs(分布式文件系统)，Hive(数仓工具)，Spark(离线数据处理)，Flink(实时数据同步处理)，Powerjob(分布式任务调度)责任描述： 1. 数据集成模块：包含数据源管理与数据同步管理。使用DataX对接各个数据源，将Mysql、Oracle、PostgreSQL、SQLServer数据同步到中台的Hdfs，管理中台所有数据同步任务。 2. 数据资产模块：包含元数据采集与元数据管理，将数据集成各个数据源的元数据定时采集到中台。还包含数据标准和数据字典模块，将不同数据源的数据进行标准化统一管理。 3. 数据ETL模块。目前中台数据主要是离线处理，数据集成定时采集的数据将通过Spark进行离线处理，将数据处理聚合，然后通过数据网关模块提供给外界。 4. 基础服务平台：包含消息服务，文件服务，分布式任务调度服务。消息模块主要接收MQ的失败报警消息，然后通过微信和邮箱发送给相关人员。文件模块负责中台的文件管理，底层使用Minio进行文件存储。任务调度模块负责整个中台的定时任务，调度数据集成、元数据采集、数据ETL的任务，使用的是Powerjob开源框架。