通用网站数据采集（爬虫）框架产品系统

很多个人和中小企业需要把网站上的公开数据（商品、价格、名录、行业信息等）整理成表格来分析使用，人工一条条复制既慢又易错。为快速、稳定地完成各类网站的数据采集，开发了一套可复用的通用爬虫框架，接到不同采集需求时只需少量适配即可交付。

框架主要功能：
1、稳定抓取：内置自动重试、超时退避、User-Agent 轮换、请求限速，降低被封与失败概率；
2、翻页与详情：支持列表翻页与进入详情页抓取更多字段；
3、断点续跑：已采集记录入库去重，中断后重跑不会重复抓取；
4、多格式导出：结果同时导出 Excel 与 SQLite 数据库，方便客户直接使用；
5、易适配：更换目标网站只需改解析函数，快速复用。

本人独立完成框架设计与开发。技术栈：Python + requests + BeautifulSoup 抓取解析，openpyxl 导出 Excel，SQLite 落库与断点去重。难点在于反爬处理（限速、UA 轮换、重试）与断点续跑的幂等设计，保证长时间采集的稳定与数据不重复。