针对 官方网站的垂直领域数据采集工具，适用于以下行业场景：
户外装备与房车配件电商运营
采集 全品类商品（冷却器、行李架、露营装备、房车/船舶设备、电源系统等）的详细信息，包括价格、SKU、颜色、规格、描述、图片等。
生成的 Excel 文件直接符合电商平台（如 Shopify、自建站）的商品批量导入模板，可快速完成商品上架或信息更新。
市场分析与竞品监测
定期抓取商品价格、销量（虚拟值）、库存状态，用于跟踪竞品定价策略、促销活动，辅助制定自身定价和选品决策。
供应链与库存管理
获取各款式（颜色、尺寸）的 SKU 和规格数据，结合随机生成的库存数，用于测试系统或模拟进销存场景。
数据整合与渠道分发
将分散在网站中的结构化数据（产品参数、说明、图片链接）统一提取，供内部 ERP、CRM 或数据中台使用，减少人工录入成本。
1. 智能分类与批量采集
可视化分类选择：提供基于 tkinter 的图形界面，完整罗列了 Dometic 官网所有品类（如冷却器、车顶架、露营装备、房车/船舶设备、电源系统等）。
自定义抓取范围：支持“全选”或“取消全选”，允许用户按需勾选特定二级/三级目录，避免采集无关数据，精准控制爬取范围。
2. 自动化动态数据抓取
分页循环遍历：自动识别列表页的商品总数，并逐页翻页抓取所有商品详情页链接，直至抓取完毕。
JavaScript 渲染支持：集成 DrissionPage 浏览器内核，能够自动点击商品详情页中的“折叠/展开”按钮（Accordion），确保隐藏的产品规格、详细参数和长描述被完整加载。
多规格（SKU）变体处理：
自动识别商品的颜色（Color）和尺寸（Size）变体。
智能切换不同颜色/尺寸链接，抓取对应变体的专属图片、价格和规格，并对同商品不同变体的图片进行汇总去重。
3. 结构化电商数据导出
标准电商导入模板：生成的 Excel 文件包含 33个核心字段，完美适配 Shopify 等主流电商平台批量导入格式，涵盖：
基础信息：商品标题、属性（主体/子款式）、类型、描述（清洗后的 HTML）。
价格库存：售价、原价、随机虚拟销量、库存数量（支持自定义随机范围）。
规格参数：SKU、条形码、重量。
媒体与专辑：自动提取高清图片链接（去除 CDN 压缩参数），并按分类自动生成对应的专辑名称。
数据清洗与美化：自动移除抓取内容中的多余 CSS 样式、无关 SVG 图标和下载按钮，保留干净的 HTML 富文本描述，确保导入店铺后排版整齐。
4. 多线程与安全控制
图形化实时控制：界面内嵌独立日志窗口，实时显示当前抓取的页码、链接和状态。
一键启停：支持“开始采集”和“停止采集”按钮，无需强制关闭程序即可安全中断任务，避免数据丢失。
核心依赖
DrissionPage：基于 Chromium 的自动化框架，既支持轻量级 Session 请求，也支持浏览器渲染，用于处理 JavaScript 动态加载的内容。
lxml + BeautifulSoup：解析 HTML，提取商品详情、图片、规格等结构化数据。
xlsxwriter + DataRecorder：负责将采集结果写入 Excel，支持缓存批量写入，提升性能。
tkinter：构建 GUI 界面，用于分类选择、日志展示和启停控制。
工作流程（核心逻辑）
分类配置与 UI 交互
使用二维列表 zong 预置全部品类路径（一级分类、二级分类、URL 路径、子标题）。
GUI 动态生成复选框，用户勾选目标分类。
列表页遍历
对每个选中分类，循环请求 ?p=0,1,2... 分页参数，从 提取商品详情页链接，直至页码无数据或不足 16 条时停止。
详情页深度采集
打开商品详情页（浏览器模式），主动点击所有折叠按钮（data-slot="accordion"）确保隐藏内容加载。
解析页面获取：主标题、描述、价格、规格表格、图片 URL 等。
SKU 变体处理：从 HTML 中的 "sku" 正则提取所有变体编码；按选中颜色切换 URL（?v=sku），分别抓取各变体的专属图片和颜色名称，并汇总同一商品所有图片作为主体图片。
数据组装与写入
每个商品按“商品属性（M/P/S）”规则生成多行 Excel 记录（主体 + 子款式）。
随机生成虚拟销量和库存，价格从页面提取。
图片链接去除 CDN 压缩参数，保留原始高清图。
使用 Recorder 缓存 100 条后批量写入，提高 I/O 效率。
线程与事件控制
采集运行在独立线程，主线程维持 GUI 响应。
评论