数据地图平台(数据治理平台)

我要开发同款
liguifa2023年03月29日
243阅读
开发技术Python
所属分类hive、数据

作品详情

背景:随着数据中台的数据沉淀,整个数据中台的数据分布在不同的集群、不同的表中。对于数据使 用着来说,当前有那些表,怎样查询这些表,是一个问题。对于数仓来说,表的来源有那些,表是否 就绪,怎么方便的修改表等,是一个问题。而对于数据中台来说,怎样给用户赋权,怎样规范表的创 建,怎样管理表和数据的生命周期等,是一个问题。为了解决这个问题,自研了数据地图这个平台。 负责:部分功能开发(Druid元数据的接入,HIVE元数据接入,血缘管理,表和数据生命周期管理和元 数据管理(表创建和修改, hive和druid),表热度监控,表存储大小监控)负责:部分功能开发(Druid元数据的接入,HIVE元数据接入,血缘管理,表和数据生命周期管理和元 数据管理(表创建和修改, hive和druid),表热度监控,表存储大小监控)技术栈:Python, Tornado(Python web框架), JAVA
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论