项目名称：比价平台(2017.12-2018.06)开发环境：Eclipse、Tomcat7、JDK1.7主要技术：Httpclient、Htmlcleaner、Xpath、Hbase、Redis、Solr、SpringMvc、jquery、Echarts、Zookeeper、Ganglia项目介绍： 该项目主要是抓取京东、易迅、国美、苏宁等电商网站的商品，获取商品的标题、价格、规格参数等信息，在前台界面为用户提供商品搜索查询，以及商品比价等功能。项目主要分为6个模块：数据下载层、数据解析层、数据存储层、数据处理层、数据展现层、系统监控层。项目问题：ip被封，网站页面结构变动。职责描述：1、负责商城的数据爬取收集，从电商页面，解析出商品的明细信息，商品的价格，商品的图片等信息2、负责系统的监控，利用zookeeper对集群中的各个节点进行监控，当其中的有节点宕机了，会用邮件通知运维人员进行相应的处理3、负责将获取来的数据信息存放到hbase数据库中，并且对数据建立索引等操作