需要批量获取某站内容时,人工一张张存图既慢又容易漏。该站有两层防护:一是 JS 挑战,二是图片横条置换(每页被水平切成 2~16 条后打乱),直接抓下来是乱序的废图。这个工具把两层都拆开处理,做到输入目标编号即可全量下载,并自动还原成可正常阅读的文件。
点击空白处退出提示
需要批量获取某站内容时,人工一张张存图既慢又容易漏。该站有两层防护:一是 JS 挑战,二是图片横条置换(每页被水平切成 2~16 条后打乱),直接抓下来是乱序的废图。这个工具把两层都拆开处理,做到输入目标编号即可全量下载,并自动还原成可正常阅读的文件。
1. 用真实浏览器(CDP 接管)通过 JS 挑战,不硬刚反爬;
2. 发现图床 URL 有规律,绕过网页渲染层直接从 CDN 按页码拉取,并支持多台 CDN 自动探测(每本用的不是同一台);
3. 从官方客户端源码反推出图片还原算法:按 md5(目标id + 去后缀页码) 计算该页的分割数 N(2~16 的偶数),再按公式重排横条,把乱序图拼回正常顺序;
4. 连续 10 张缺失即判定到头,避免盲试无效页;
5. 批量转码并打包为 zip,支持一次处理多本。
技术栈:Python + CDP(Chrome DevTools Protocol)+ Pillow + requests。我负责从零设计并实现全套流程:浏览器接管、图床探测、按页号直取、分割数计算与横条重排、批量转码打包。
最大难点在图片还原:站点把每页水平切成 N 条再打乱,N 由 md5(目标id + 去后缀页码) 的最后一个字符取模决定,同一本里每页都可能不同,直接下载得到的只是乱序废图。我从官方客户端源码反推出算法,用「倒序取段、正序拼接」实现还原,并以封面文字方向、页面内容连贯性做对拍验收。
实测:176 页 111.8 秒 / 47 页 75.1 秒 / 36 页 105.1 秒。



评论