信息服务平台数据工程

我要开发同款
微信用户02543272092023年02月22日
92阅读
所属分类大数据web

作品详情

角色 项目前端负责人● 项目概述数据工程提供完整的数据接入流程和方式,数据源支持关系数据库mysql、postgresql等、国产库 南大通用、神州通用、达梦、人大金仓,大数据平台 hdfs、hbase、hive,并且对接入数据数据元匹配以及质量管理。● 项目包含以下功能1. 标准管理,提供行业标准数据值域给质量管理提供依据。2. 资源管理,将数据存储分为原始库、汇集库、标准库,主要是预配置数据源,对接入的资源更新频率配置以及查看修改。3. 质量管理,配置调度任务,生成质量报告、数据比对。4. 任务管理,接入任务、清洗转换任务、共享任务配置,以及对任务的监控。● 这个项目中我主要负责1. 前端任务的分配;2. 与后台负责人一起制定开发计划;3. 项目前台页面技术难点攻克。4. 指导前端组员功能实现思路。业绩● 产品1. 了解了数据接入平台的、从数据源接入,调度任务接入,以及对数据治理的链路过程。2. 在界面使用上也积极想象和讨论,在易用上需要更加深入研究。● 技术上这个项目主要是后台管理系统,在实现功能上没有太多的技术难点,唯一 的技术难点是根据数据源的配置数据以及质量规则配置数据生成表单,这个表单包含动态排版、也包含表单元素之间的联动。
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论