职业：爬虫工程师 | 数据采集专家

经验：3年半爬虫开发经验，专注于电商、旅游（机票）领域的高效数据采集、反爬对抗与数据清洗

技术标签：Python Scrapy DrissionPage 反爬破解 分布式爬虫 数据清洗 API逆向

1. 爬虫技术栈

· 精通 Python 生态爬虫框架（Scrapy、Requests、BeautifulSoup、Playwright）。

· 擅长动态渲染页面处理（Selenium/Puppeteer、AST反混淆、WebSocket抓包）。

· 熟悉反爬对抗（IP代理池、验证码破解（OCR/打码平台）、请求签名逆向、浏览器指纹模拟）。

· 有分布式爬虫经验（Scrapy-Redis）。

2. 数据处理与存储

· 熟练使用 MongoDB、MySQL、Elasticsearch 存储清洗后的结构化数据。

· 掌握数据清洗（Pandas、正则表达式）、增量爬取策略设计。

3. 行业经验

· 电商领域：熟悉某宝、某东、某鱼、某转、某因、某手等平台的反爬机制，擅长商品价格监控、评论采集。

· 旅游（机票）领域：破解过国际机票平台API加密以及Akamai产品加密等，实现航班数据的获取。

4.具体业务不便透露