CrawLeeTool产品系统

立项原因:用于学习和研究社交媒体数据采集技术，支持小红书，抖音等平台的笔记/视频和评论数据爬取。社交媒体数据分析，舆情监测，竞品分析，营销数据收集

多平台爬虫（小红书、抖音）。多种爬取模式:关键词搜索，铁子详情，创作者主页，首页推建，账号池管理，评论爬取，登录验证等
支持通过关键词搜索爬取小红书和抖音平台的笔记/视频内容、用户信息、评论数据，支持代理IP和账号池轮换，提供断点续爬功能，数据可保存为CSV、数据库或JSON格式。

亮点
项目概览与功能模块梳理分析
1. **支持4种爬取模式**: search/detail/creator/homefeed ┃ ┃
2. **账号池 + IP代理池双轮换**: 避免被封 ┃ Copied to clipboard ┃ Context
3. **断点续爬**: 检查点保存机制 ┃ ┃ 27,265 tokens
4. **并发控制**: Semaphore限制并发数 13% used
5. **多格式存储**: CSV/DB/JSON $0.00 spent
6. **多平台扩展**: 预留了微博、贴吧、B站等接口
LSP
--- LSPs will activate as files are read

难点

1. 签名算法: 小红书X-s、X-s-common等参数加密 (libs/xhs_xs.js)
2. 抖音ms_token: 复杂的设备参数和签名验证
3. Cookie池维护: 需要定期更新失效账号
4. 反爬对抗: IP代理验证、账号风控检测
5. xsec_token时效: 小红书链接参数有时效性，需手动获取