项目描述● 以爬虫，接口，硬件设备收集数据并对数据进行可视化展示。其主要项目模块如下:● 爬虫模块，对公开网页，app ,数据登录网站，接口，相关环境气象数据进行抓取接入。● 集成工控机模块，硬件设备通过本地485接口线，接入到集成器中，并对数据进行同化质控，对设备进行反向控制，对设备信息的报警，入到本地数据库，对数据三维地图立体进行实时展示● 云端数据传输模块，硬件设备数据通过 mqtt 传输，云端接入并实时入库，进行展示● 无人车模块，通过云端对无人车及设备进行到反向控制，与无人车数据的同化接入● 数据同化模块，将所有数据通过算法进行同化质控，达到可使用的标准● 数据可视化模块，对同化后的数据，通过模型进行可视化输出，达到二维及三维展示效果● 预测模块，对数据通过 WRF,CMAQ 等模式对空气质量进行预测● 三维展示模块，将数据应用到三维地图上人员配置● 前端：2人● 后端：4人● 硬件：2人● 地图：2人● UI：1人主要负责● 团队项目管理● 项目架构● 数据抓取，对 app ,登录网站，攻克登录的加密方式及各种验证码的处理。通过线程池与代理池加快数据抓取速度，以每小时万级的数据量控制在三分钟左右入库完成● 硬件数据接入，每两秒一组的采集数据图片处理不过来，用两个线程，做一个环形缓存，一个负责接收，一个负责环形处理。并且先进行数据接收，再处理图片，保证此线程不做任何任务切换，接收完在释放● 数据库的读写分离及分库分表，减轻单表数据量的压力● 数据同化，将各类数据利用多线程进行质控并根据需求处理为可用数据● python 进行数据可视化● 气象模型的搭建接入服务 (WRF)