数据爬取与整理产品系统Vibe Coding

业务决策缺少及时、结构化的外部数据支撑：行业资讯、竞品动态、用户反馈散落在多个网站与平台，人工收集效率低、口径不一。本方案用 Python 爬虫（requests/Playwright）加模拟操作自动获取全网资讯，经清洗去重后由大模型整理成业务所需格式，让数据直接驱动业务调整。适用于电商、内容、运营等需要外部数据监测与分析的场景。

系统核心能力：1、多源采集：requests/Playwright 抓取资讯站、竞品官网、评价平台、社区论坛等 30+ 数据源；2、模拟操作：应对登录态、动态加载等反爬场景；3、数据清洗：自动去重、字段抽取、格式统一；4、AI 整理：大模型按业务口径归类提炼，生成结构化报告；5、监控看板：采集量、成功率、来源分布实时可视；6、输出交付：日报/周报、竞品动态、价格监测、趋势简报直接进业务决策。

我负责采集与整理全流程设计与实现。Python 编写 requests/Playwright 采集任务，针对反爬页面用模拟操作绕过；数据进入清洗管道去重结构化；核心亮点是大模型整理环节：设计业务口径提示词模板，把原始资讯自动归纳为竞品动态、用户反馈、价格监测、趋势简报等业务格式，输出直喂运营决策。成果：日采集数千条资讯稳定运行，数据帮助业务及时调整策略，明显提升用户体验与整体业绩。