网页数据采集与自动化爬虫工具集产品系统Vibe Coding

本项目旨在解决企业和个人对网页数据的采集需求。很多行业的市场分析、竞品监控、价格追踪都需要大量网页数据，但手动复制粘贴
效率极低且容易出错。
业务场景包括：电商商品价格监控、社交媒体舆情采集、企业工商信息批量导出、房产信息统计分析等。适用于电商运营、市场调研、
数据分析等岗位，帮助用户自动化获取结构化数据，替代重复性人工操作。

1. 静态网页采集引擎：基于Python Requests库，支持UA轮换、请求限速、自动重试、代理IP池、编码自动检测，适用于电商网站、新
闻列表、企业信息等传统网页的批量数据抓取。
2. 动态网页采集引擎：基于Playwright浏览器自动化框架，可处理JavaScript渲染页面、无限滚动加载、登录认证、翻页按钮点击等
复杂场景，内嵌反检测脚本隐藏自动化痕迹。
3. 电商商品采集器：支持分类遍历、多页翻页、商品详情提取（名称、价格、评分、库存），全自动采集并实时显示进度。
4. 数据导出模块：支持导出格式化Excel（带表头样式、自动列宽、筛选器、柱状图分析）、CSV和JSON格式，提供全页截图作为采集
证明。

完成全部开发工作，包括需求分析、技术选型、代码编写和测试验证。
技术栈：Python 3.13、Requests、BeautifulSoup4、Playwright、openpyxl、Pandas、lxml、charset_normalizer。
架构设计亮点：
1. 基类封装了所有反爬对抗逻辑（UA轮换、随机延时、失败重试），子类只需关注数据解析
2. 编码检测采用charset_normalizer自动识别，解决了不同网站的编码兼容问题
3. Playwright引擎注入反检测脚本，隐藏navigator.webdriver标记，降低被反爬拦截的概率
难点攻克：部分网站返回Brotli压缩内容导致requests无法解压，通过限制Accept-Encoding头解决；编码检测失败时回退到UTF-8兜底
策略。