Hadoop

智慧信访项目包括数据采集、清洗、分析、可视化和数据挖掘五大模块。（1）数据采集主要使用javawebmagic框架进行的数据爬取，主要采集了对应网站的html网页数据，把采集到的网页数据保存到HadoopHDFS。（2）数据清洗主要使用HadoopMR对网页进行数据清洗，提取出我们想要的数据，主要包

需求：为江苏省基础地理信息中心开发内部分公司自动化系统，需整合空间数据管理、项目跟踪与流程审批功能。本人负责：作为全栈开发，参与工作流引擎、审批管理及数据系统模块的设计与实现。开发完善：基于flowable工作流引擎构建灵活审批流程，支持BPMN2.0标准建模与动态表单配置；开发审批设置与管理模块，