使用requests对小说网站进行爬取,对小说网站的搜索页分析并展示给用户选择,选择完毕后进行多线程下载小说,支持代理池全程个人开发,使用pycharm作为开发软件难点是对于小说搜索页搜索的时候会出现一个图形验证码,我做到了可以识别验证码并通过requests校验验证码,通过后获取网页数据
评论