抖音小红书 B 站视频评论批量抓取工具_系统开发案例-程序员客栈

技术信息

语言技术
Python系统类型
Windows、Web行业分类
音视频多媒体、脚本插件

作品详情

行业场景

内容创作者抓爆款选题、品牌方做竞品监控、代运营管理账号矩阵、电商团队做选品分析、学术机构做传播研究、政府 / 企业做舆情监测。

功能介绍

1. 多平台采集：每平台支持关键词搜索、指定视频、创作者主页三种抓取模式，支持二级评论与回复下钻。
2. 登录态管理：二维码扫码、手机号验证码、Cookie 导入、CDP 远程浏览器四种登录方式，自动持久化到本地。
3. 可视化配置控制台（v7）：浏览器访问 http://127.0.0.1:5556/v7，分组卡片 + 字段切换 + 脏标记 + 即写即存 + 实时统计 + 视频预览。
4. 多存储后端：SQLite / MySQL / PostgreSQL / MongoDB / CSV / JSON / Excel 七种存储，切换只需改一个字段。
5. 反爬与代理：内置 HTTP / HTTPS / SOCKS 代理池，滑动验证与 Cloudflare 验证自动识别。
6. 媒体下载：视频、图片、封面、头像一键下载到本地，去重 + 断点续传。
7. CLI 命令行：python main.py --platform dy --type search --keywords ... 一键启动。
8. 数据导出：CSV / Excel / JSON Lines / SQL 直连 / MongoDB / Webhooks 全链路输出。
9. 部署运维：Docker Compose / systemd / 裸跑三种部署方式均已验证。

项目实现

1. 全量代码审计：通读原 MediaCrawler 仓库 7 个平台爬虫模块、登录态、存储层、配置层，整理模块依赖关系图。
2. 品牌重塑：把全仓 import 路径从 media_crawler 替换为 quanjing，更新 UI 标题、README、启动 banner、LICENSE。
3. YAML 配置镜像层：新增 quanjing.yaml，原 .py 配置与 YAML 双向同步，启动时自动校对一致性。
4. Web 可视化配置控制台（v7）：用 Flask + 原生 JS 重写配置管理页面，分组卡片 + 字段切换 + 脏标记 + 即写即存 + 实时统计 + 视频预览。
5. 多存储后端整合：把 SQLite、MySQL、PostgreSQL、MongoDB、CSV、JSON、Excel 七种存储统一抽象成 BaseStore 子类。
6. Docker Compose + systemd 部署模板编写。