玖拾
1小时前在线
全职 · 400/日  ·  8700/月
工作时间: 工作地点: 远程
服务企业: 0家累计提交: 0工时
聊一聊

APP聊一聊

个人介绍

本人西安电子科技大学计算机科学与技术硕士,深耕网络爬虫、数据采集与逆向开发领域多年,具备完整从需求分析、反爬破解、分布式采集到数据清洗入库全流程落地能力。核心技术栈以 Python 为主,熟练使用 Requests、Aiohttp、Scrapy、Playwright、Selenium 等采集框架,精通 XPath、CSS 选择器、正则、Jsonpath 数据解析;熟练处理各类反爬场景,包含 Cookie/Token 鉴权、UA 伪装、滑块 / 点选验证码识别、JS 逆向加密、AST 解混淆、接口参数破解、IP 代理池搭建;熟练运用 MySQL、MongoDB、Redis 做数据存储、URL 去重与分布式任务调度,可在 Linux 服务器部署爬虫、配置定时任务、日志监控。可承接各类网页数据抓取、电商商品采集、资讯爬虫、接口逆向、数据清洗、自动化脚本、分布式爬虫搭建、爬虫防封禁优化等外包需求,沟通高效,交付规范,代码附带详细注释,支持后期迭代维护,能严格按照客户需求控制爬取频率,规避站点封禁风险,交付结构化干净数据。

工作经历

  • 2022-09-01 -2026-07-01赛博数据信息技术有限公司爬虫开发工程师

    1.负责公司分布式爬虫平台研发与迭代,基于 Scrapy+Redis 搭建分布式采集架构,支撑多业务线海量数据抓取; 2.拆解各平台加密接口,完成 JS 逆向、处理滑块、点选、验证码等各类反爬限制; 3.自研动态代理池,设计请求限流、UA 随机轮换策略,降低IP封禁概率。

教育经历

  • 2018-09-01 - 2022-07-01西安电子科技大学计算机科学与技术硕士

    在校成果:独立完成分布式爬虫课程作业,使用 Redis 做请求去重、任务队列;掌握 IP 代理池基础搭建,学会请求频率控制、UA 伪装、请求加密破解基础思路;熟悉 Git 版本管理,养成结构化、可复用爬虫代码编写习惯。

技能

Python掌握
0
1
2
3
4
5
更新于: 1小时前 浏览: 1