项目要求:
1、使用selenium将网易云音乐网站——》发现音乐——》排行榜——》热歌榜的评论爬取,只需要前10页的数据
2、数据字段包括:评论人、评论内容、点赞数,并将数据保存到csv文件中
项目实现:
1、利用selenium模块获得浏览器对象、自动打开浏览器网页
2、利用xpath语法抓取数据字段,然后将数据存入csv文件中
3、再利用xpath语法找到“下一页”元素并点击,从而实现切换页面
4、循环10次,即可爬取前10页的数据
项目实现的关键
1、网页源代码中有内嵌框架,需要切换到内部的iframe框架才能拿到数据
2、切换下一页时需要等待页面刷新,此时应做延时处理
3、如果没有评论内容或者点赞数值,需要进行处理,如将评论内容文本设为“暂无”,点赞数设为“0”
点击空白处退出提示












评论