技术栈:springboot+mybatis+mysql,vue,spark
内容:
1、搭建Hadoop集群及使用组件
2、商城后端将离线数据发送给Flume,实时数据发送给Kafka
3、用shell脚本定时将日志数据上传到HDFS文件管理系统
4、用Spark SQL通过Hive清洗数据
5、用Spark Streaming消费Kafka,用作实时统计
6、用Spark MLlib中的ALS(最小交替二乘法)根据用户行为评分,推测其所好
7、vue+echarts做数据可视化
点击空白处退出提示
评论