大数据平台建设

➢离线平台
1）Zeus调度系统；
2） ETL工具，针对调度系统开发的
3） hue对外提供hive、impala查询；
4） 离线任务提供hive和spark执行引擎
5）可修改kudu存储
➢实时平台
1）Filebeat、flume日志监控
2）Canal mysql时间数据获取
3）Kafka中间件
4）SparkStream、flink消费端
5）Kudu、hbasecunc
➢监控体系
1）zabbix硬件资源监控
2）数据质量监控
3）Yarn资源监控
4）服务是否存在监控

➢前端展示
1）报表展示
2）Kylin OLAP
3）apache zeppelin 笔记本