基于scrapy的基础公开网页数据采集工具产品系统

本项目用于合规采集公开静态网页的列表数据，解决手动复制整理数据效率低、易出错的问题，可将网页中的文章/商品/名单数据批量导出为结构化文件，适用于小型公开数据的快速整理场景。

项目为基础版Scrapy爬虫，主要功能包括：1. 对无反爬、无登录的公开静态网页进行低频率数据抓取；2. 支持通过XPath/CSS选择器自定义采集字段，如标题、链接、发布时间、价格等；3. 自动清洗数据并导出为Excel或CSV格式；4. 适配简单分页数据的批量采集，单次采集数据量在千条以内，满足小型数据整理需求

我负责整个项目的搭建与实现，使用Scrapy框架编写爬虫逻辑，通过XPath/CSS选择器解析网页数据，利用mysql库完成数据清洗与格式转换，最终导出为Excel文件，实现了轻量、稳定的公开数据采集功能。