智能网页数据采集与分析工具（爬虫+自动登录+定时任务）产品系统Vibe Coding

面向电商运营、舆情监测、市场调研等数据获取场景,解决人工复制粘贴效率低、易出错、无法持续的问题。用户配置目标网站后,工具自动完成登录、采集、清洗、结构化输出全流程,支持定时任务无人值守运行,数据直接导出为 Excel/JSON 或入库,为业务决策提供稳定持续的数据源。

1)多站点采集:支持静态页与动态渲染页(Playwright),分页、筛选、详情页深度采集;2)自动登录:账号密码/Cookie 注入,验证码自动识别(接入打码平台);3)数据处理:字段解析、去重、增量更新、断点续采;4)定时调度:APScheduler 定时任务,失败自动重试与告警;5)输出:JSON/CSV/Excel/SQLite 多格式;6)反爬策略:随机 UA、代理轮换、请求限速,降低封禁风险。

本人负责全流程架构设计与开发。技术栈:Python 3、Playwright、requests、SQLite、APScheduler、ElementUI 管理界面。亮点:1)自动登录+验证码识别一体化,无需人工干预;2)断点续采与增量更新,长周期任务稳定可靠;3)可视化任务配置,非技术人员可操作;4)多格式输出即取即用。已应用在电商价格监控与行业数据采集场景。