该项目是一个大型的爬虫框架,用于各个不同网站的数据抓取1. scrapy项目搭建2. 各中间件编写,如绕过cloudflare,UA头,使用代理,异常捕获及处理3. 各网站独立式spider开发4. 管道数据存储开发,根据不同需求,分别编写存入mysql和mongo的管道5. 数据抓取存储,项目稳定长期运行
评论