Spark

本次研究完成系统整体架构搭建和功能实现，建立数据采集、存储、处理、分析、展示的全流程。系统搭建起完整的数据采集和存储架构，可以自动获取全国重点城市空气质量监测数据，使用HDFS实现分布式存储管理。基于Spark分布式计算框架，根据SparkSQL开发ETL处理流程，对数据进行清洗、格式转换、缺失值填

登录注册：用户是系统操作者，该功能主要完成系统用户配置。智能分析（同步）：用户输入原始数据及分析诉求点击提交，同步调用大模型生成图表。智能分析（异步）：用户输入原始数据及分析诉求点击提交，采用自定义线程池方式执行任务。提高系统响应速度，优化用户体验。智能分析（MQ模式）：用户输入原始数据及分析诉求，