个人介绍
我是程序员客栈平台Python爬虫开发者,拥有一年半线下专业爬虫培训+自主实战开发经验,专注合规公开网页数据采集开发。
本科就读于上海电机学院,课余深耕爬虫技术,独立完成三套商用完整采集系统:图书静态信息采集工具、工业品数据采集系统、工厂企业自动化采集工具。
所有项目采用标准化工程分层架构,严格遵循高内聚低耦合设计思路,各类代码、配置、日志、文档、运行资源分区存放,结构规整清晰,便于维护迭代、定位程序问题,配套完整使用说明与故障排查文档,上手门槛低。
熟练掌握Python、Requests静态网页爬取、POST接口数据请求(支持页面原生Token参数传递)、Playwright浏览器自动化模拟操作、XPath页面解析;支持CSV/SQLite/XLSX多格式数据导出,内置断点续爬、页面源码缓存、访问延时反爬策略、全流程异常捕获与日志记录,可通过Pyinstaller打包Windows独立exe交付,客户拿到即可双击运行,无需搭建开发环境。
仅承接无登录鉴权、无JS加密逆向的公开静态页面/普通接口采集单,不处理加密Token、复杂签名类逆向需求;代码规范、配套文档齐全,交付完整可直接使用的成品工具,有数据采集需求欢迎发布订单沟通。
工作经历
2025-01-18 -至今个人独立开发实践python爬虫独立开发
系统参加爬虫线下培训班,搭配线上自主学习,累计一年半爬虫开发实操经验。独立完成三套商用数据采集系统开发: 1.纯静态图书信息采集工具,采用分层解耦架构,支持CSV、Excel、SQLite本地存储,自动缓存页面HTML备份; 2.工业品静态信息采集系统,适配静态页面反爬延时逻辑,批量采集商品参数数据; 3.工厂企业信息自动化采集系统,基于Playwright浏览器模拟点击翻页,具备断点续爬、三格式数据导出、内置浏览器资源包,打包exe交付客户。 仅承接合规公开静态网页采集需求,擅长拆分模块化代码、异常容错处理、程序打包交付,面向中小企业提供轻量化数据采集解决方案。
教育经历
2024-09-01 - 上海电机学院新能源科学与工程本科已认证
在校正常完成本科课程学习,课余自主学习编程相关技术
资质认证
技能

本项目分为浏览器自动化模块、页面数据解析模块、分页采集模块、本地存储模块、运行日志五大独立模块,整体采用高内聚低耦合分层设计。依托Playwright模拟浏览器点击操作自动翻页,加载完整渲染页面获取HTML数据;内置访问延时规避网站反爬,自带断点续爬机制,程序中断重启后可从上次采集位置继续运行;自动

本项目分为网络请求模块、静态页面解析模块、分页循环采集模块、本地存储模块、运行日志五大独立模块,整体采用高内聚低耦合分层设计。工具内置请求间隔延时逻辑规避网站反爬,自动分页抓取图书书名、作者、售价、封面链接、内容简介等静态字段;采集数据仅支持CSV表格与SQLite数据库两种存储格式,同时自动缓存列




