数据管理系统产品系统

降低用户对数仓数据的使用门槛 可以通过管理系统快速找到自己需要的数据
1、公司数据数据源管理 和资源使用情况监控
2、每个表数据源的血缘关系和字段信息
3、权限管理 控制每个用户使用权限和数据权限
4、自动生成接入表的相关作业

具体功能设计 ：
1、数据管理系统 架构搭建
基于开源项目搭建数据管理系统
2、数据库设计
用户表设计
Doris表元数据存储表设计
表字典元数据信息表设计
指令和回调表存储设
指令和回调的字典表设计
表的血缘关系表设计
权限表设计
角色表设计
3、页面开发
登录页面
首页统计页面
权限表列表页面
权限配置页面
角色列表页面
角色配置页面
Doris表查询页面
表字典信息页面
指令和回调列表页面
指令和回调字段列表页面
作业配置解析页面
生成解析作业页面
生成指令和回调关联宽表页面
表的血缘关系以及作业和表对映射关系列表页面
4、功能开发
登录功能开发
首页统计功能 库和表存储统计开发
Doris表列表 改查功能开发
表字典列表 修改和查功能开发
指令和回调列表 增删改查功能开发
指令和回调字段列表 字段配置和查询功能开发
开发根据指令和回调配置信息生成 对应的解析作业
开发调度华为云API生成对应的表和作业
开发生成指令和回调关联的宽表功能
解析所有Flink SQL作业 生成所有表的血缘关系以及对应的作业
血缘列表多字段查询功能开发
5、数据清洗-定时更新
Doris表元数据 定时清洗更新
Doris表字段元数据 定时清洗更新
指令和回调数据 实时更新输出
表的血缘关系 实时更新输出
6、通用功能开发
1、生成页面工具
2、页面字典内容查询功能
3、整体页面样式优化
4、后端系统监控
5、用户操作日志功能开发
6、系统字典功能开发
7、功能测试与联调
登录功能联调测试
首页统计功能 库和表存储统计联调测试
Doris表列表 改查功能联调测试
表字典列表 修改和查功能联调测试
指令和回调列表 增删改查功能联调测试
指令和回调字段列表 字段配置和查询功能联调测试
开发根据指令和回调配置信息生成 对应的解析联调测试
开发调度华为云API生成对应的表和联调测试
开发生成指令和回调关联的宽表联调测试
解析所有Flink SQL作业功能联调测试
血缘列表多字段查询功能联调测试