dmj1113
19天前在线
全职 · 300/日  ·  6525/月
工作时间: 工作日20:00-24:00、周末00:00-24:00工作地点: 远程
服务企业: 0家累计提交: 0工时
聊一聊

APP聊一聊

个人介绍

·精通Python爬虫开发,熟练使用Scrapy、Scrapy-Redis搭建分布式高并发采集架构,日均稳定抓取500万+数据量

·​熟练掌握XPath、正则表达式数据提取,精通Selenium、Pyppeteer自动化渲染,持有影刀RPA初级证书

·​精通反爬对抗:IP代理池、验证码识别、浏览器指纹伪装、JS逆向、AES/MD5加解密、接口参数模拟

·熟练使用MySQL、Redis、MongoDB进行数据存储与缓存,掌握Pandas、Numpy数据清洗与结构化处理

​·具备接口开发、数据对接、系统性能优化与长期稳定运维能力,可独立负责全流程数据采集项目

工作经历

  • 2023-07-01 -2025-03-01南京易联阳光信息技术股份有限公司python软件开发工程师

    ·设计并落地分布式爬虫系统,支撑日均500万+数据采集,保障高并发、低延迟、高可用 ·深度突破各类网站反爬机制,负责IP代理池维护、验证码识别、登录态保持,采集成功率提升至95%+ ·使用Pandas完成数据清洗、去重、格式转换与标准化,保障入库数据质量 ​·基于Scrapy框架二次开发自动化采集工具,降低重复开发成本,提升采集效率 ​·负责数据接口开发、第三方系统数据对接,以及爬虫服务性能优化与稳定性运维

教育经历

  • 2019-09-01 - 2023-06-24天津工业大学计算机科学与技术本科

资质认证

语言

中文母语水平
英语无工具书面交流
0
1
2
3
4
5
0
1
2
3
4
5

技能

Python掌握
0
1
2
3
4
5
更新于: 06-02 浏览: 4