Python掌握
0
1
2
3
4
5
2022-09-01 -2026-07-01赛博数据信息技术有限公司爬虫开发工程师
1.负责公司分布式爬虫平台研发与迭代,基于 Scrapy+Redis 搭建分布式采集架构,支撑多业务线海量数据抓取; 2.拆解各平台加密接口,完成 JS 逆向、处理滑块、点选、验证码等各类反爬限制; 3.自研动态代理池,设计请求限流、UA 随机轮换策略,降低IP封禁概率。
2018-09-01 - 2022-07-01西安电子科技大学计算机科学与技术硕士
在校成果:独立完成分布式爬虫课程作业,使用 Redis 做请求去重、任务队列;掌握 IP 代理池基础搭建,学会请求频率控制、UA 伪装、请求加密破解基础思路;熟悉 Git 版本管理,养成结构化、可复用爬虫代码编写习惯。
