项目描述:
1.使用技术
1.1 scrapy
1.2 scrapy-redis
1.3 selenium
2.项目描述
2.1 爬取网站中img标签的图片并将之保存下来,需要进行信息的筛选和使用无头浏览器来规避检测。
责任描述:
1.1负责编写爬虫的代码,使用selenium来设置无头浏览器
1.2 在scrapy中写入需要爬取的网站,获取该网站img对应的xpath的信息
1.3 然后筛选排除不必要信息,并在管道pipelines中整理获取的信息
1.4 将获取的信息进行下载保存
点击空白处退出提示
评论