项目主要进行了两类数据的接入和处理。
日志数据:通过Flume 和Kafka 将日志服务器接入,然后将数据分解成不同的Topic,再通过
SparkStreaming 过滤、转化、计算、保存到Hbase 中,最后前端进行可视化展示。
业务数据:通过Kafka 将数Mysql 业务数据接入,然后通过SparkStreaming 进行过滤、转化、计
算、保存到Hbase 中,最后前端进行可视化展示。
点击空白处退出提示
项目主要进行了两类数据的接入和处理。
日志数据:通过Flume 和Kafka 将日志服务器接入,然后将数据分解成不同的Topic,再通过
SparkStreaming 过滤、转化、计算、保存到Hbase 中,最后前端进行可视化展示。
业务数据:通过Kafka 将数Mysql 业务数据接入,然后通过SparkStreaming 进行过滤、转化、计
算、保存到Hbase 中,最后前端进行可视化展示。
评论