当前小红书平台已成为知识类和AI类自媒体创作者的重要内容分发阵地，大量创作者涌入该赛道进行内容运营。然而，创作者在实际运营过程中面临诸多痛点：缺乏系统化的竞品数据采集工具，难以高效识别同领域的高增长对标账号；无法精准分析爆款内容的选题规律、最佳发布时间和互动数据分布；粉丝增长趋势缺乏量化追踪手段，导致内容策略制定依赖主观经验而非数据驱动。本项目立项旨在解决上述问题，通过构建一套面向知识类和AI类自媒体的小红书数据采集与分析系统，实现对目标账号和笔记的自动化数据采集、多维度筛选、增长趋势追踪以及爆款内容分析，帮助创作者从数据层面洞察行业趋势、发现对标账号、优化内容策略，从而提升运营效率和内容竞争力。业务场景覆盖自媒体运营者、MCN机构以及个人内容创作者的数据驱动决策需求。
本系统包含以下核心功能模块：数据采集模块——基于Playwright无头浏览器实现小红书公开数据的全自动采集，涵盖关键词搜索、账号主页抓取、笔记详情提取和评论采集四大采集路径，通过请求拦截（API Interception）获取结构化数据，并支持降级DOM解析方案应对页面变化；多维筛选模块——支持按粉丝量级、内容方向、时间范围、互动表现等多个维度对账号和笔记进行灵活筛选；增长追踪模块——通过每日快照机制记录账号粉丝数、关注数、笔记数等关键指标的变化，生成增长曲线并计算增长率，用于发现高增长潜力账号；爆款分析模块——基于互动数据识别爆款笔记，结合jieba中文分词分析热门选题规律，生成发布时间热力图数据，提供最佳发布时段建议；对标账号发现模块——按增长率、互动率等指标排序，筛选出具有对标价值的账号并展示其详细数据；数据可视化模块——前端采用Vue 3 + ECharts构建Web仪表盘，提供指标卡片、增长趋势折线图、发布时间热力图、话题雷达图、互动数据散点图等多种可视化图表；爬虫任务管理模块——支持通过API触发关键词搜索、账号详情采集、批量更新等任务，任务状态实时可查。此外还包含Cookie加密管理、反检测策略（UA随机化、WebGL伪装、鼠标轨迹模拟）和Playwright持久化浏览器上下文等功能。
我负责该系统的整体设计与全栈实现，主要完成以下工作：在技术架构层面，采用前后端分离架构，后端使用FastAPI + SQLAlchemy + Alembic构建RESTful API服务，数据库采用PostgreSQL（Docker部署），缓存层使用Redis，前端使用Vue 3 + Vite + Element Plus + ECharts构建可视化仪表盘。在爬虫引擎方面，我基于Playwright实现了浏览器自动化爬虫核心，包含BrowserManager（浏览器实例管理）、AntiDetectModule（反检测模块：UA池轮换、Stealth JS注入、WebGL指纹伪装、随机滚动与延迟模拟）、CookieManager（Fernet对称加密的Cookie持久化管理）以及XhsCrawler（小红书爬虫：支持关键词搜索拦截API数据、账号主页采集、笔记详情提取、DOM降级解析）。在数据采集难点上，采用了请求拦截方案（监听browser response事件抓取搜索API返回的JSON数据），避免了小红书复杂的签名算法逆向，同时设计了DOM解析降级方案以应对API拦截失败的情况。在业务逻辑层面，实现了TaskScheduler任务调度器，支持关键词搜索、账号详情、笔记详情、批量更新四种任务类型，采集数据通过UPSERT机制写入数据库并自动维护每日快照。在分析引擎方面，实现了账号增长率计算（基于快照差值）、热门选题分析（jieba分词+停用词过滤+聚合统计）、最佳发布时间热力图生成、互动基准线分层计算（KOC/腰部/头部博主分类对比）等功能。项目使用Alembic管理数据库迁移，通过asyncpg实现异步数据库操作，整体采用异步架构保证高并发采集性能。
评论