搭建大数据集群，包含Kafka，Spark，HDFS，Mongodb 等，实现终端数据接入、存储和计算开发Spark Structured Streaming实现终端报表在线流计算，开发离线Spark RDD批处理任务采用Hive+Spark+HDFS+YARN构建离线数仓，通过维度建模将数据分层处理自建K8s集群，统一资源调度，监控告警（Prometheus）和日志管理（Filebeat+ELK)查看全文
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论