个人介绍
爬对抗经验丰富,能独立完成从抓包分析、逆向还原到稳定采集的完整闭环。有从 0 到 1 搭建采集与清洗平台的经历,兼顾开发效率与长期可维护性。数据敏感度高,习惯用指标衡量效果;沟通配合顺畅,有小组管理经验。英语 CET-6,可无障碍阅读英文技术文档与开源项目源码。
工作经历
2026-08-01 -2026-10-23四川智慧算法岗
爬虫方向 负责竞品价格与商品数据采集体系,基于 Scrapy-Redis 搭建 12 节点分布式集群,日均请求 800 万+,数据延迟从 T+1 降到 15 分钟。 针对目标站点完成 JS 逆向(Webpack 拆包、AST 还原、补环境),用纯 Python 复现签名参数,接口成功率从 62% 提升至 97%。 设计代理 IP 池、请求指纹伪装和动态限速策略,封禁率下降 80%;引入 Playwright 处理 SPA 渲染与滑块验证码场景。 搭建采集监控告警(Prometheus、Grafana 和钉钉机器人),异常 5 分钟内推送。 Django 后端方向 使用 Django、DRF 和 Celery 开发内部数据管理平台,支撑 30+ 业务方查询与导出,QPS 峰值 1200。 设计任务调度与 RBAC 权限体系,数据交付从人工请求改为自助查询,需求响应周期缩短 70%。 数据清洗方向 基于 Pandas、正则和规则引擎 构建清洗流水线,覆盖字段映射、单位归一、去重(SimHash 和布隆过滤器)、脏数据标记,入库准确率 99.2%。
教育经历
2023-09-01 - 2026-11-14黑龙江工程学院昆仑旅游学院计算机科学与技术本科已认证
资质认证
技能
Python熟练
0
1
2
3
4
5



