数据治理平台

我要开发同款
Jacker丿2023年04月15日
149阅读
所属分类springbootspringcloud、数据治理、数据采集

作品详情

1.平台主要是对采集的数据进行处理,监控,交付,主要分为以下几个模块。用户中心:主要是用户注册,角色,部门以及权限的配置。基础信息:主要是管理用户所涉及的数据源的元数据管理(可以作为一个单独的模块),用户项目管理,租户信息管理等(项目涉及的租户)数据采集:通过三种平台进行数据采集,并通过程序将数据从不同的平台集中到一起数据质检及预警:对采集过来的数据进行质量检查,并对采集的数据的质量数量是否满足设置的要求进行预警操作,并定期生成报告数据清洗:对采集的数据,按照标准结构清洗数据交付:主要是提供数据服务功能2.技术:项目中使用的技术有springcloud,springboot,nginx,gateway,nacos,kafka,redis,jenkins,grafana,kibana,etl,mongodb,es,kettle本人在过程中作为技术经理以及架构师的职责,对整个项目的技术架构负责,并在工作协助解决其他同事遇到的难题,包括技术上和沟通上的。
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论