随着互联网的快速发展，目前已有超过半数的信访人选择网上信访。北京市政府网站积累了大量的百姓信访数据，传统的人工比对分析方式明显力不从心。我们采用了目前主流的Hadoop大数据平台作为基础架构，同时使用Java Web的方式来构建一个智慧信访系统对信访数据进行智能的分析和挖掘，帮助政府快速的对了解民情民意。
点击空白处退出提示
北京市政府智慧信访系统 产品系统
我要开发同款技术信息
作品详情
行业场景
功能介绍
智慧信访项目包括数据采集、清洗、分析、可视化和数据挖掘五大模块。
（1）数据采集主要使用java webmagic框架进行的数据爬取，主要采集了对应网站的html网页数据，把采集到的网页数据保存到Hadoop HDFS。
（2）数据清洗主要使用Hadoop MR对网页进行数据清洗，提取出我们想要的数据，主要包括信件内容、回复时间、回复部门、回复内容、标题，写信时间、信件类型等内容，最后再次保存到hdfs中。
（3）数据分析主要使用hivesql对清洗后的数据分析，主要分析内容包括年度信访数量、信件类型数量、回复部门信件数等指标。最后将分析的数据通过sqoop组件保存到mysql表中，为后续的java web可视化做准备。
（4）数据可视化主要搭建了java web框架进行一个可视化大屏展示，后端使用java jfinal框架，前端使用了echars插件。我们将年度信访数量、信件类型数量、回复部门信件数量及关键事件进行大屏可视化。
（5）数据挖掘主要对信件内容进行数据挖掘，采用自然语言处理相关的技术对信件文本进行分词和语义分析并进行可视化展示。
项目实现
大数据平台：
Ubuntu16.02 + CDH6.2.1 + JDK1.8 + MySQL5.7
Web平台：
Ubuntu16.02+JDK1.8+Nginx-1.14.2 +Maven-3.6.0+MySQL5.7
示例图片
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
评论