爬取好大夫等医生信息

1、分析网站 ，理解网站的跳转逻辑 ，找到爬虫入口 ，抓取规则 ，入库规则 ，字段定义等内容 ，然后开始python 网络爬虫技术。
2、使用Scrapy框架可以跟简易的完成页面的跳转 ，提高数据的爬取速度。
3、处理访问异常 ：数据源异常的网站 ，将出错的网址存入Redis数据库或者MongoDB数据库。标记错误类型 ， 之后统一处理。
4、状态码处理：各种状态码 ，将指定异常的状态码存进数据库 ，重新抓取。
5、增量更新 ：在数据第一次全量抓取时 ，数据库中标记每条问诊最后一句对话的位置和链接 ，下次抓取直接从 标记好的位置抓取 ，实增量更新。