帮客户在知网上采集31个省的日报内容,从2010年至2023年的每天的日报内容,供客户科研使用使用python+request查询出每个省的所有日报地址,然后再遍历这些地址,再次请求这些地址,获取到所有的网页内容,期间遇到滑块验证码,使用python+js破解滑块,继续采集数据
评论