使用selenium爬取,进入网页后需在10s内手动选择查询条件并点击查询
这里的外、内表头手写
根据总页数获得需要点击"下一页"的次数,依次循环获得每一页的内容。
获得外内容的每一行,并点击该行详情页同时获得该行对应的里内容;最后拼接每一行的内容存到一个列表里作为总内容。
这里发现在详情页里点击返回时会回到第一页,故从第二页开始每次点击返回后,需要在跳转页码里输入对应的页码并点击跳转。
当所有内容爬取完后,将外、里表头拼接为总表头,将总表头与总内容写入csv里并保存。
点击空白处退出提示
评论