开发环境：Windows Python3 Scrapy MySQL MongoDB Redis pyexecjs项目描述：项目是基于scrapy框架开发，主要抓取58同城、城市房产、安居客、链家、阿里法拍、海豚法拍等网站的房产数据，并对数据进行去重去偏差等标准化处理。责任描述：网站反爬分析。Scrapy框架搭建。爬虫程序开发，反反爬：(1)IP封锁，控制请求频率或者使用IP代理。(2)Headers请求头校验，Refererr/User-Agent等设置 (3)字体反爬，需要找到对应字体文件，破解映射关系。(4)js混淆反爬，找到对应的js文件，分析js源码，找到关键代码，用pyexecjs库传参执行js函数，获取动态数据，再根据该数据请求到对应接口。(5)验证码反爬，使用selenium模拟浏览器请求破解，或者使用对接打码平台。下载器下载数据后对应数据进行解析，用到的解析方式有lxml、xpath、re等。数据去重去偏差标准化处理。使用MongoDB存储数据。项目部署、维护。