python通用爬虫产品系统

解决下载无反爬虫的网站资源，适用于所有wordpress等等通用网站，支持按需下载 图片 / 视频 / 文本内容。

一个**礼貌型网页爬取工具**，支持按需下载 **图片 / 视频 / 文本内容**。
适合做资料归档、页面采集与轻量离线备份，
自动遵守 robots.txt（礼貌访问）

✅ 支持三种抓取类型：images、videos、text
✅ 仅同域名爬取，避免无边界扩散
✅ 支持爬取深度控制（--depth）与页面上限（--max-pages）
✅ 自动遵守 robots.txt（礼貌访问）
✅ 请求失败自动重试（429/5xx）
✅ 可配置请求头（--headers）和访问节奏（--delay）