工业品设备公开信息数据采集系统产品系统

立项原因：中小企业市场人员手动搜集工业品厂家、产品资料耗时耗力，人工录入数据存在错漏、效率低下的痛点。行业场景为B2B工业企业信息调研场景，企业需要批量获取官网公开产品名称、参数、厂商联系方式等公开数据，用于竞品分析、拓客线索储备，本工具自动化完成网页数据拉取、清洗存储，大幅缩减人工采集时间。

本项目分为网络请求模块、Token自动提取解析模块、分页JSON数据解析模块、本地多格式存储模块、运行日志模块五大核心模块。工具可自动请求目标页面提取鉴权Token，循环分页抓取产品ID、名称、详情链接、产品图片链接等字段，自动将采集数据导出CSV、XLSX、SQLite数据库文件；全程输出标准化运行日志，使用者可实时监控爬取进度。程序打包为Windows独立可执行exe，客户开箱即用，无需本地配置python 开发环境。

本人独立完成项目全流程开发，负责整体分层架构设计、通用工具函数封装、接口请求逻辑编写、数据解析存储、打包适配全流程工作。技术栈以Python为主，通过会话对象维持请求会话状态，借助XPath解析页面提取CSRF鉴权Token，循环处理分页POST接口JSON数据；整体采用高内聚低耦合分层架构，拆分网络、解析存储工具类。项目难点为动态页面Token自动提取、分页接口循环稳定请求；核心亮点是统一日志输出、多格式数据落地、打包生成Windows独立exe，客户无需搭建开发环境即可直接运行。