2024-06-10 -至今北京深度机智科技高级python工程师

北京深度机智科技有限公司是一家专注于人工智能与大数据技术融合创新的高科技企业。公司核心业务涵盖智能舆情洞察、知识图谱构建、垂直领域大规模数据挖掘以及AI模型训练数据服务，致力于为金融、政务、零售等行业客户提供从海量数据采集、深度清洗到智能决策分析的全链路解决方案。公司自研了分布式数据采集平台与多源异构数据融合引擎，日均稳定处理亿级互联网公开数据，在反爬对抗、动态渲染及隐蔽数据抓取方面构筑了坚实的技术壁垒。 作为高级Python爬虫工程师，我的主要职责与工作内容如下： 1. 分布式爬虫系统架构设计：主导高可用、可弹性扩展的分布式爬虫框架的规划与迭代。基于Scrapy、Scrapy-Redis，结合Kubernetes及Kafka/RabbitMQ消息队列，构建起支持每日数亿级页面采集的集群，确保系统7×24小时稳定运行，并持续优化任务调度与去重策略，降低资源损耗。 2. 高级反爬攻防研究：深入分析目标平台的各类反爬手段，负责攻克JS混淆、AST代码变形、WebAssembly加密、滑块/点选/短信验证码识别、移动端应用API签名、浏览器指纹检测及行为验证等复杂防护。熟练运用Selen

2021-09-02 - 2024-06-04清华大学计算机科学与技术本科

在清华大学攻读计算机科学与技术专业的本科经历，为我奠定了坚实的计算与软件开发学术基础。通过系统学习，我掌握了扎实的技术知识、解决问题的能力以及分析性思维，这使我能够胜任复杂的技术项目，并作为一名计算机科学专业人士持续成长。