在爬取一些单位时间内对IP请求次数限制的网站,需要更改不同代理IP对 其发起请求,所以需要做一个代理IP池(基于Redis),利用requests爬取IP代理网页 并将爬取的IP并验证(高并发手段)是否为有效的代理IP,然后将其写入数据库。以固定频率刷新代理池保证IP代理都是可用的。
评论