新渠道数据服务平台

我要开发同款
阿才love2024年05月21日
154阅读

作品详情

项目描述:一个基于实时计算、统一服务API、报表于一体的数据化服务平台,旨在为业务提供高性能的、高稳定的、跨多数据源的数据治理、服务、展示平台工作内容:1.调研市场当前的数仓搭建方案,制定符合我们部门的数仓搭建方法2.经过反复调研、POC,决定使用基于Flink流、FlinkSql、Kafka、TiDB、D一体化的实时数仓方案3.主要负责搭建基于公司微服务框架ARK的统一服务API平台与报表平台,后台、前台框架搭建、流水线部署、公司公共服务接入等4.统一服务API平台中实现项目自定义添加数据源、可基于数据源的配置化API接口,目前支持的数据源有MySql、Oracle、Druid、PG、Hive、Presto、Doris、Hbase、TiDB等5.报表平台目前主要实现了报表的页面可配置化、定期执行、缓存等功能,可实现业务报表的快速上线运行6.对于现有的离线hive数据与实时关系型数据库无法聚合查询的问题,目前使用的是Presto进行跨库查询,目前正在POCDoris方案,希望其能替代Hadoop组件复杂的问题
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论