HTTPS

本项目分为浏览器自动化模块、页面数据解析模块、分页采集模块、本地存储模块、运行日志五大独立模块,整体采用高内聚低耦合分层设计。依托Playwright模拟浏览器点击操作自动翻页,加载完整渲染页面获取HTML数据;内置访问延时规避网站反爬,自带断点续爬机制,程序中断重启后可从上次采集位置继续运行;自动
450Python企业服务
本项目分为网络请求模块、静态页面解析模块、分页循环采集模块、本地存储模块、运行日志五大独立模块,整体采用高内聚低耦合分层设计。工具内置请求间隔延时逻辑规避网站反爬,自动分页抓取图书书名、作者、售价、封面链接、内容简介等静态字段;采集数据仅支持CSV表格与SQLite数据库两种存储格式,同时自动缓存列
340Python企业服务
本项目分为网络请求模块、Token自动提取解析模块、分页JSON数据解析模块、本地多格式存储模块、运行日志模块五大核心模块。工具可自动请求目标页面提取鉴权Token,循环分页抓取产品ID、名称、详情链接、产品图片链接等字段,自动将采集数据导出CSV、XLSX、SQLite数据库文件;全程输出标准化运
350Python企业服务
当前共3个项目more
×
寻找源码
源码描述
联系方式
提交