一个爬虫,想自己做个小说网站的,后期细节太多放弃了,不过主要结构已经完整,后期填坑....刚开始用的图片抓取+自动识别文字实现:自动网页截图,自动滚动,合成长图发现太慢了 后改用selenium + beautifulsoup实现了IP代理按网站抓取消息kafka消息队列具体的爬虫实现
评论