项目描述:
一个基于实时计算、统一服务API、报表于一体的数据化服务平台,旨在为业务提供高
性能的、高稳定的、跨多数据源的数据治理、服务、展示平台
工作内容:
1.
调研市场当前的数仓搭建方案,制定符合我们部门的数仓搭建方法
2.
经过反复调研、POC,决定使用基于Flink流、FlinkSql、Kafka、TiDB、D一体化
的实时数仓方案
3.
主要负责搭建基于公司微服务框架ARK的统一服务API平台与报表平台,后台、
前台框架搭建、流水线部署、公司公共服务接入等
4.
统一服务API平台中实现项目自定义添加数据源、
可基于数据源的配置化API接口,
目前支持的数据源有MySql、
Oracle、
Druid、
PG、
Hive、
Presto、
Doris、
Hbase、
TiDB等
5.
报表平台目前主要实现了报表的页面可配置化、定期执行、缓存等功能,可实现业务
报表的快速上线运行
6.
对于现有的离线hive数据与实时关系型数据库无法聚合查询的问题,
目前使用的是
Presto进行跨库查询,目前正在POCDoris方案,希望其能替代Hadoop组件复
杂的问题
点击空白处退出提示
评论