基于Scrapy的通用爬虫产品系统

该项目的创建是为了搭建一个通用爬虫平台，方便后续各种网站的数据抓取开发等工作展开，前期搭建好了之后后续开发效率会高很多。

该项目是一个大型的爬虫框架，用于各个不同网站的数据抓取
1. scrapy项目搭建
2. 各中间件编写，如绕过cloudflare，UA头，使用代理，异常捕获及处理
3. 各网站独立式spider开发
4. 管道数据存储开发，根据不同需求，分别编写存入mysql和mongo的管道
5. 数据抓取存储，项目稳定长期运行

1. 我负责整个项目框架的搭建。
2. 项目里的各种工具的开发（如中间件，管道等等）。
3. 负责项目的稳定维护以及解决一些项目过程中会遇到的问题。