0
1
2
3
4
5
0
1
2
3
4
5
2022-02-01 -2022-08-18逻辑教育学生
在该公司中,我学习了python基础和python爬虫方面的课程。包括scrapy框架、分布式爬虫、规则式爬虫、MySQL、mongodb、redis数据库等内容
2018-09-01 - 2022-06-30重庆理工大学工业工程本科
(1)该项目通过规则式爬虫爬取"斗图"专题的所有表情包下载到images文件夹里面 (2)在爬取过程中需要给scrapy设置规则(正则表达式形式),以便爬取该网站所有的数据
(1)这个项目是通过scrapy框架爬取某汽车的实拍图片,共爬取图片900张,并把图片保存到car文件夹 (2)在进行数据解析时,要获得图片的名字并加上对应的标签防止出现重复现象,导致图片数量减少