个人介绍
精通 Python 爬虫开发,系统掌握爬虫全套技术体系,熟练使用 Requests、BS4、XPath 处理静态页面,使用 Selenium、Playwright 渲染 JS 动态网页,掌握 aiohttp 异步爬虫提升采集速度;熟练使用 Scrapy 框架搭建标准化爬虫项目。 具备独立逆向分析能力,熟练使用抓包工具解析接口加密参数,可处理验证码、请求签名、token 鉴权、IP 限制等反爬机制;自主搭建简易代理池、Cookie 池实现稳定爬取。 熟练使用 Redis 缓存任务、MongoDB/MySQL 存储采集数据,运用 Pandas 完成数据清洗、去重并导出表格;会使用 APScheduler 实现定时自动爬取,能在 Linux 系统部署爬虫脚本、配置后台运行。 完成电商、资讯、招聘多类实战爬虫项目,熟悉 robots 协议与网络数据采集合规规范,擅长结构化公开数据批量采集,具备良好的代码规范、问题排查与项目迭代能力。
工作经历
2025-07-01 -至今好学星城程序员
独立负责 Python 爬虫项目开发与维护,逆向解析加密接口,处理各类网站反爬限制;搭建异步、分布式爬虫架构,实现高并发数据采集;完成数据清洗入库、定时任务部署、线上爬虫运维优化;严格把控采集合规性,持续迭代脚本适配网站页面更新,输出可用结构化业务数据。
教育经历
2025-09-01 - 昆明理工大学计算机本科
技能
Python熟练
0
1
2
3
4
5


