背景:随着数据中台的数据沉淀,整个数据中台的数据分布在不同的集群、不同的表中。对于数据使 用着来说,当前有那些表,怎样查询这些表,是一个问题。对于数仓来说,表的来源有那些,表是否 就绪,怎么方便的修改表等,是一个问题。而对于数据中台来说,怎样给用户赋权,怎样规范表的创 建,怎样管理表和数据的生命周期等,是一个问题。为了解决这个问题,自研了数据地图这个平台。 负责:部分功能开发(Druid元数据的接入,HIVE元数据接入,血缘管理,表和数据生命周期管理和元 数据管理(表创建和修改, hive和druid),表热度监控,表存储大小监控)
负责:部分功能开发(Druid元数据的接入,HIVE元数据接入,血缘管理,表和数据生命周期管理和元 数据管理(表创建和修改, hive和druid),表热度监控,表存储大小监控)
技术栈:Python, Tornado(Python web框架), JAVA
点击空白处退出提示
评论