工程师中文母语水平
0
1
2
3
4
5
1小时前在线
个人介绍
专注数据采集与自动化解决方案 | Python爬虫专家 | 合法合规 | 高效交付
核心技能栈
- 编程语言：Python（精通Scrapy, Requests, Selenium, Playwright, Aiohttp）
- 数据解析：XPath, CSS Selector, 正则表达式，JSON/HTML解析
- 反爬破解：IP代理池、验证码识别、JS逆向（_signature, token等加密参数）、字体反爬、请求签名
- 数据存储：MySQL, MongoDB, Redis, Excel/CSV文件处理
- 部署架构：Docker容器化，Scrapy-Redis分布式爬虫，高效稳定
实战项目案例
1. 电商价格监控系统：为某零售客户搭建，日均采集超10万条商品数据（价格/销量/评论），通过动态代理池与请求指纹伪装稳定运行，数据准确率>99.5%。
2. 舆情聚合分析平台：从多个公开新闻及社交平台采集数据，经自动化清洗、去重和情感分析，为客户提供定制化日报。
3. 企业信息整合工具：批量抓取并结构化指定行业的公司工商信息、招投标公告，辅助客户市场分析。
服务流程与承诺
- 需求沟通：明确数据源、目标字段、更新频率与交付格式。
- 技术评估：提供可行性分析与实施方案。
- 分阶段交付：支持按里程碑验收与付款，保障双方权益。
- 交付成果：完整源代码、技术文档与数据样本。
- 后续支持：提供合理周期免费维护，确保稳定运行。
服务宗旨
用可靠技术解决公开数据获取难题，恪守合法合规底线，注重效率、稳定性与数据质量。
核心技能栈
- 编程语言：Python（精通Scrapy, Requests, Selenium, Playwright, Aiohttp）
- 数据解析：XPath, CSS Selector, 正则表达式，JSON/HTML解析
- 反爬破解：IP代理池、验证码识别、JS逆向（_signature, token等加密参数）、字体反爬、请求签名
- 数据存储：MySQL, MongoDB, Redis, Excel/CSV文件处理
- 部署架构：Docker容器化，Scrapy-Redis分布式爬虫，高效稳定
实战项目案例
1. 电商价格监控系统：为某零售客户搭建，日均采集超10万条商品数据（价格/销量/评论），通过动态代理池与请求指纹伪装稳定运行，数据准确率>99.5%。
2. 舆情聚合分析平台：从多个公开新闻及社交平台采集数据，经自动化清洗、去重和情感分析，为客户提供定制化日报。
3. 企业信息整合工具：批量抓取并结构化指定行业的公司工商信息、招投标公告，辅助客户市场分析。
服务流程与承诺
- 需求沟通：明确数据源、目标字段、更新频率与交付格式。
- 技术评估：提供可行性分析与实施方案。
- 分阶段交付：支持按里程碑验收与付款，保障双方权益。
- 交付成果：完整源代码、技术文档与数据样本。
- 后续支持：提供合理周期免费维护，确保稳定运行。
服务宗旨
用可靠技术解决公开数据获取难题，恪守合法合规底线，注重效率、稳定性与数据质量。
工作经历
2018-03-21 -2026-03-21粤来科技有限公司工程师
负责公司核心数据采集系统的设计与开发，主要工作包括： 使用Scrapy框架搭建分布式爬虫系统，日均处理数据量超过500万条，系统稳定性达99.9%； 攻克多种反爬技术，包括JS加密参数逆向、验证码识别、IP封禁应对等，实现目标网站数据高效采集； 设计并维护代理IP池、请求指纹库等反爬基础设施，提升爬虫鲁棒性； 与数据分析团队协作，确保数据准确性和及时性，支撑业务决策； 严格遵守数据采集合规要求，仅获取公开可用数据。 技术栈：Python, Scrapy, Redis, MongoDB, Docker, 逆向工程
2017-03-21 -2026-03-21粤来数据科技公司工程师
负责公司核心数据采集系统的设计与开发，主要工作包括： 使用Scrapy框架搭建分布式爬虫系统，日均处理数据量超过500万条，系统稳定性达99.9%； 攻克多种反爬技术，包括JS加密参数逆向、验证码识别、IP封禁应对等，实现目标网站数据高效采集； 设计并维护代理IP池、请求指纹库等反爬基础设施，提升爬虫鲁棒性； 与数据分析团队协作，确保数据准确性和及时性，支撑业务决策； 严格遵守数据采集合规要求，仅获取公开可用数据。 技术栈：Python, Scrapy, Redis, MongoDB, Docker, 逆向工程
教育经历
2005-09-21 - 2009-07-21吉林农业科技学院机电专科
本人毕业于吉林农业科技学院，具备扎实的数据处理与分析基础。专注于Python爬虫开发，精通Scrapy框架及JS逆向、IP代理池构建等反爬策略。曾独立完成多个电商与舆情数据采集项目，实现日均百万级数据的高效稳定抓取与清洗。恪守数据采集合规底线，致力于将公开数据转化为清晰
语言
技能
Python掌握
0
1
2
3
4
5
