项目分为三个主要大模块[数据采集处理和AI标注]本人完成了大部分的数据采集任务包括了链接MySql,DB2,Hive,Oracle等等多种数据库读取数据库元数据和使用策略模式和模板方法模式设计的驱动代码；数据完成采集之后进入到AI标注该过程使用python+djnago提供接口调用[数据质量分析]数据质量分析使用的大数据组件进行的数据处理包括了Spark+nifi+kafka等根据系统业务配置的数据校验规则进行数据采集和规则匹配得到元数据和数据集是否需要修改[大数据图表展示]大数据展示则是根据采集的元数据进行表和表字段血缘关系依赖的分析然后形成一个树状图查看全文
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论