2013-10-16 -2025-07-16阿里巴巴爬虫架构工程师

一、核心战绩总览 在阿里巴巴任职的7年半时间里，我从一名普通后端开发工程师成长为集团爬虫技术方向的负责人，带领20+人的技术团队，主导了集团核心数据采集平台从零到一、从一到百的全过程。累计申请发明专利5项，获集团技术创新一等奖1次、年度技术攻坚奖2次，主导的项目累计为公司创造直接经济效益超2亿元。 二、分布式爬虫架构：从百万级到千亿级的数据王者 2.1 自研分布式爬虫框架 作为爬虫技术负责人，我主导设计了集团自研的分布式爬虫框架——SpiderX，从底层架构彻底重构了传统爬虫系统的瓶颈。核心架构采用Master-Worker + 一致性哈希分片模式，支持动态扩缩容，单集群可扩展至5000+节点，日均抓取数据量从最初的数十TB提升至PB级（1PB+）。 技术亮点： 自研任务调度引擎，基于优先级队列 + 动态权重分配，实现百万级爬虫任务的毫秒级调度与负载均衡 设计自适应爬取策略，根据目标网站响应时间、反爬强度、数据新鲜度等维度动态调整爬取频率，数据采集效率提升300% 引入断点续爬 + 故障自动恢复机制，系统可用性高达99.99%，单节点故障不影响整体任务执行 2.2 反爬对抗：突破

2013-09-01 - 2017-07-01西安电子科技大学计算机科学与技术本科

GPA 3.88/4.0，专业前5%。国家奖学金+校级优秀毕业生。ACM-ICPC亚洲区域赛银奖，全国大学生数学建模竞赛国家一等奖。以第一作者发表EI论文1篇，获软件著作权2项。参与国家重点研发计划子课题，负责核心算法设计与实现，项目成果已落地应用。