本项目旨在为社交媒体运营者、市场调研人员、内容创作者及学术研究者提供一套自动化、低侵入的小红书评论数据采集与深度分析方案。小红书作为国内领先的种草社区，其评论区蕴含丰富的用户真实反馈、消费意向和热点话题，但平台对自动化访问有严格的风控机制（如浏览器指纹检测、登录态验证、动态加载等），手动收集效率极低且不现实。本工具通过模拟真人浏览行为、持久化登录环境，安全稳定地抓取指定笔记的完整评论（含多级回复），并将非结构化的评论文本转化为可量化的情感指标、主题分布和视觉词云，帮助用户快速洞察笔记的舆论倾向、用户关注焦点及口碑演化趋势，广泛适用于品牌舆情监测、竞品分析、内容效果评估和学术研究等业务场景。
本系统采用模块化分层设计，涵盖爬取、存储、分析三大核心板块，具体功能如下：
1. 高级反检测爬虫模块（scraper/）：
- 基于Playwright启动真实Chromium浏览器，注入反自动化脚本（遮蔽navigator.webdriver），随机化视口大小和User‑Agent。
- 支持持久化登录态（user_data_dir），首次扫码登录后后续运行免重复操作。
- 模拟人类阅读行为：随机滚动、鼠标悬停、键盘翻页、随机停顿，有效规避小红书风控。
- 智能展开“显示更多”回复，递归抓取所有层级的回复内容，并自动解析相对时间（“x分钟前”、“昨天 HH:MM”等）为标准时间。
- 增量备份机制：每抓取N条（可配置）自动追加至CSV，防止意外中断导致数据丢失。
2. 统一存储与读写模块（storage/）：
- 提供Dispatcher统一调度，支持Excel、CSV、JSON三种格式的导出与读取。
- 爬取与分析解耦，分析模块可直接从已存文件中加载Comment对象列表，便于反复实验。
3. 智能分析模块（analysis/）：
- 情感分析（sentiment_analysis.py）：基于SnowNLP计算每条评论的情感得分（0~1），自动分类为正面/负面/中性，输出情感饼图、按时间粒度的趋势折线图及堆叠面积图。
- 词云分析（wordcloud_analysis.py）：使用jieba分词，过滤自定义停用词，生成高可定制词云（支持蒙版、颜色映射、字体选择）。
- LDA主题建模（topic_analysis.py）：利用gensim训练隐含狄利克雷分配模型，输出各主题关键词、主题重要性柱状图，并生成交互式HTML报告（pyLDAvis）用于探索评论热点分布。
所有分析图表自动保存至output目录，可直接用于报告展示。
我在本项目中独立负责了全部模块的架构设计、编码实现与测试优化。技术栈以playwright为核心实现浏览器自动化，beautifulsoup4辅助解析，pandas处理数据，snownlp、jieba、wordcloud、gensim、pyLDAvis完成分析可视化。实现亮点：一是设计了灵活的回调式增量保存机制，爬取过程中每20条自动备份，极大提升了长任务容错性；二是攻克了小红书相对时间表达与多层回复的解析难题，通过正则表达式和递归查找父评论ID，精准还原评论层级关系；三是将分析模块与爬虫解耦，支持从多种格式文件中读取数据，提高了可维护性和复用性。难点攻克：小红书对异常行为非常敏感，我通过引入随机延时（1~5秒/条）、随机滚动距离、模拟键盘操作和回看笔记正文等拟人策略，成功在合规频率下获取了千余条有效评论，并为分析模块提供了稳定输入。
评论