元数据管理工具

元数据管理作为数据治理平台的核心功能，采集汇总企业系统数据属性的信息，帮助各行各业用户获得更好的数据洞察力，通过元数据之间的关系和影响挖掘隐藏在资源中的价值。元数据采集与大数据平台有深度关联，系统通过数据源管理配置实现与大数据平台深度集成，包括单不限于MYSQL、ORACLE、HANA、HADOOP、BW等多种数据源。
现有模块：元数据、数据质量、数据标准
我负责模块描述：
● 完成对hpx、hive、kudu、bp0、bpx、mysql、oracle等数据源的采集工作
● 开发各个数据源对应的适配器项目以便支持采集不同数据源下的不同资源;
● 使用quartz完成元数据即时、定时采集任务;
● 使用Atlas RestAPI 对元数据进行存储及血缘分析;
● 消费者监控kafka消息队列不同topic消息进行自动消费，多个topic业务不同，包括元数据推送服务、创建atlas对象、采集版本的保存等业务;
● 数据质量规则管理、模型配置、任务管理、检测结果、报告管理功能模块开发;
● 数据标准业务分类管理、业务术语管理、数据元管理、主数据/指标/参考数据管理模块的开发;