Spark

本次研究完成系统整体架构搭建和功能实现,建立数据采集、存储、处理、分析、展示的全流程。系统搭建起完整的数据采集和存储架构,可以自动获取全国重点城市空气质量监测数据,使用HDFS实现分布式存储管理。基于Spark分布式计算框架,根据SparkSQL开发ETL处理流程,对数据进行清洗、格式转换、缺失值填
310Python项目任务
当前共1个项目more
×
寻找源码
源码描述
联系方式
提交