爬虫工程师中文母语水平
英语无工具书面交流
0
1
2
3
4
5
1月前来过
个人介绍
核心技能开发语言：精通Python（Scrapy、BeautifulSoup、PySpider、requests），熟练掌握Go（Colly）、Java（Jsoup），了解Node.js（Cheerio）反反爬技术：精通动态代理池构建（隧道代理、自建代理集群）、用户行为模拟（Selenium、Playwright自动化）、验证码识别（OCR、深度学习模型调优）、JS逆向（AST反混淆、Hook技术）分布式架构：熟练使用Redis实现任务分发与去重，基于Celery构建分布式爬虫集群，使用Docker+K8s实现服务容器化部署与弹性扩容数据处理：精通MySQL、MongoDB、HBase数据存储设计，熟练使用Pandas、Spark进行数据清洗与结构化处理，了解数据仓库构建流程其他技能：熟悉HTTP/HTTPS协议、TCP/IP协议，掌握Fiddler、Charles、Wireshark抓包分析工具，具备Linux系统运维与Shell脚本编写能力，了解CI/CD流程（Jenkins）
工作经历
2025-11-04 -至今科兴爬虫工程师
开发针对银行、证券等金融机构公开数据的爬虫程序，使用Scrapy框架实现多线程采集，通过IP代理池轮换与请求头随机生成突破反爬限制，采集数据包括理财产品信息、股市行情等，日均采集数据50万+条，数据准确率达98.5%，为公司金融数据产品提供核心数据源。
教育经历
2023-06-13 - 北华航天工业学院通信本科
语言
技能
Python熟练
0
1
2
3
4
5
