分析调度任务中各个脚本的字段血缘关系,为数仓开发提供决策依据。使用Antlr4对hive 脚本进行分析,拿到脚本里的输入输出表,识别出临时表,并且拿到每个字段的加工条件通过分析结果,可以进行进一步的处理,得到字段的血缘关系。根据字段的血缘关系可以计算字段之间的相似度等,从而可以为数据优化以及重构提供决策
评论