大数据资产平台

项目分为三个主要大模块
[数据采集处理和AI标注]
本人完成了大部分的数据采集任务包括了链接MySql,DB2,Hive,Oracle等等多种数据库读取数据库元数据和使用策略模式和模板方法模式设计的驱动代码；
数据完成采集之后进入到AI标注该过程使用python+djnago提供接口调用
[数据质量分析]
数据质量分析使用的大数据组件进行的数据处理包括了Spark+nifi+kafka等根据系统业务配置的数据校验规则进行数据采集和规则匹配得到元数据和数据集是否需要修改
[大数据图表展示]
大数据展示则是根据采集的元数据进行表和表字段血缘关系依赖的分析然后形成一个树状图