金山云智•智能数据管理(Kingsoft Cloud DataKeeper)
https://www.ksyun.com/nv/product/KDK.html
用于解决大数据云平台的数据集中管理、元数据信息管理、权限管理等问题。
提供一站式的元数据相关的信息查询、操作、分析等功能。
工作内容:
负责【数据同步】功能的设计与开发;
负责【标签管理】模块的设计与开发;
负责团队内部【定时调度】 、【服务健康上报】功能开发;
负责【技术元数据】【库表管理】模块相关的数据库调研与开发;
负责调研数据源:Hbase,ArangoDB,Elasticsearch,COS,KS3,Hive,Oracle,Mpp,Mysql;
负责【数据血缘】服务集成 Atlas 完成数据血缘的收集与管理查询;
负责【任务调度】作业流与作业的设计与开发以及告警模块的开发与维护;
负责相关业务的表结构设计,编写开发文档,API 接口定义,团队内部提供相关SDK;
负责技术点调研与开发过程中问题推进;