大数据中台项目架构

我要开发同款

晓Dev2023年10月19日

28阅读

所属分类Flink、Hive、mysql、spark、数据仓库、大数据

作品详情

完整数据中台架构设计设计各项数据接入方式及外部系统信标通信基于OneData思想的数仓分层建模基于指标库指标设计数据集市及数据输出服务选型分析报表工具选型及开发

查看全文

声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP

实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

前往安装

分类

RISC-V 工作流引擎休闲游戏 IDEA插件地图相关在线帮助和支持系统常用工具包区块链数据库连接池服务器软件套件报表/图表制作 UI组件库 JavaScript PaaS系统/容器 Ada

推荐作品

题宝小程序

一、题宝小程序适用于考核，评测等场景，功能包括：练习模式（顺序答题，随机答题，专项答题，题型答题，高频错题）、背题模式、模拟考试、错题集、收藏题集、搜索题目、排行榜、签到功能，资讯文章，答题设置，答题音效，积分功能，激活码功能，多级题库分类。二、练习功能分为顺序练习、随机练习、专项练习，题型练习（支持的题型：单选，多选，判断，填空，多项填空，简答），高频错题；模式分为答题模式和背题模式，答题模式可以在答完题目显示正确答案和帮助提示，可以进行跳题作答，背题模式可以直接查看正确答案和帮助提示，实时查看答题卡，统计答题情况，记忆功能，能够继续上次答题，也可以清除答题记录，重新答题。三、模拟考试

统一权限中心

这个系统是作者在百度工作时，所做的一个百度内部系统的统一权限管理平台。用户可以创建自己的应用，维护应用要进行权限管理的资源，创建角色等，进行权限管理。系统支持较复杂的授权：如可以同时给角色和人员直接授权，角色的权限可以继承等等。系统功能主要包括 1、授权管理，包括应用管理、资源管理、角色管理、授权操作等等 2、鉴权，需要做权限管理的业务系统通过调用鉴权API（http接口）来判断指定的角色或人员是否有权限系统主要技术栈：开发语言：后端使用Java语言开发。开发框架：后端基于Springboot微服务框架，前端H5页面基于Vue。数据存储：主要业务数据使用MySQL数据库，部分高频

百度内部数据中台

这个系统是作者之前在百度工作时，所做的百度内部的一个数据治理平台，用户可以将自己的数据放到平台上进行管理，在数据地图上进行发布，供需要相应数据的人申请，再进行后续的数据消费（API拉取数据，使用平台的可视化报表工具制作成报表等）。系统的主要功能： 1、数据集、数据表的管理、维护。 2、数据集的发布。 3、数据查询API。 4、可视化报表工具。系统主要技术栈：开发语言：后端使用Java语言开发。开发框架：后端基于Springboot微服务框架，前端H5页面基于Vue。数据存储：主要业务数据使用MySQL数据库，部分高频访问数据缓存在Redis中。其它中间件：使用了消息队列Kafk

智慧工地管理系统

智慧工地管理系统 1 对接监管方平台，对人员进行核对，校验，以及考勤信息的上报，工资核算功能。 2 对接出入闸机、现场cctv监控，实现无感人脸识别等系统。对考勤信息、安全报警信息等进行监控。 3 设计生产无线震动检测端点，安装在领边防护等场景防止危险发生。 4 设计研发手持设备端的安全员巡检任务派发系统。实现在后台进行巡检任务派发到人，人手持终端后按照任务路线进行巡逻并上报结果。

券商自研投顾平台

这个系统是券商自研的投资顾问平台，主要是将证券公司的投顾顾问服务打包成一个个产品，然后销售给投资者，为他们提供投资方面的一些建议。系统的主要功能包括： 1、运营端，由券商内部员工（主要是一些投资顾问人员）维护投顾产品，比如产品的基本属性，持仓股票何时进行调仓；投顾人员管理；投资培训视频的管理等等诸多和投资顾问业务相关的管理功能。 2、客户端，展示给投资者券商提供的投顾服务产品，客户可以签约、享受投顾服务。系统主要技术栈：开发语言：后端使用Java语言开发。开发框架：后端基于Springboot微服务框架，前端H5页面基于Vue。数据存储：主要业务数据使用Oracle数据库，部分高