降低用户对数仓数据的使用门槛 可以通过管理系统快速找到自己需要的数据 1、公司数据数据源管理 和资源使用情况监控 2、每个表数据源的血缘关系和字段信息 3、权限管理 控制每个用户使用权限和数据权限 4、自动生成接入表的相关作业 具体功能设计 ： 1、数据管理系统 架构搭建 基于开源项目搭建数据管理系统 2、数据库设计 用户表设计 Doris表元数据存储表设计 表字典元数据信息表设计 指令和回调表存储设 指令和回调的字典表设计 表的血缘关系表设计 权限表设计 角色表设计 3、页面开发 登录页面 首页统计页面 权限表列表页面 权限配置页面 角色列表页面 角色配置页面 Doris表查询页面 表字典信息页面 指令和回调列表页面 指令和回调字段列表页面 作业配置解析页面 生成解析作业页面 生成指令和回调关联宽表页面 表的血缘关系以及作业和表对映射关系列表页面 4、功能开发 登录功能开发 首页统计功能 库和表存储统计开发 Doris表列表 改查功能开发 表字典列表 修改和查功能开发 指令和回调列表 增删改查功能开发 指令和回调字段列表 字段配置和查询功能开发 开发根据指令和回调配置信息生成 对应的解析作业 开发调度华为云API生成对应的表和作业 开发生成指令和回调关联的宽表功能 解析所有Flink SQL作业 生成所有表的血缘关系以及对应的作业 血缘列表多字段查询功能开发 5、数据清洗-定时更新 Doris表元数据 定时清洗更新 Doris表字段元数据 定时清洗更新 指令和回调数据 实时更新输出 表的血缘关系 实时更新输出 6、通用功能开发 1、生成页面工具 2、页面字典内容查询功能 3、整体页面样式优化 4、后端系统监控 5、用户操作日志功能开发 6、系统字典功能开发 7、功能测试与联调 登录功能联调测试 首页统计功能 库和表存储统计联调测试 Doris表列表 改查功能联调测试 表字典列表 修改和查功能联调测试 指令和回调列表 增删改查功能联调测试 指令和回调字段列表 字段配置和查询功能联调测试 开发根据指令和回调配置信息生成 对应的解析联调测试 开发调度华为云API生成对应的表和联调测试 开发生成指令和回调关联的宽表联调测试 解析所有Flink SQL作业功能联调测试 血缘列表多字段查询功能联调测试