普通话
英语
0
1
2
3
4
5
0
1
2
3
4
5
爬虫全职 · 300/日 · 6525/月信用一般
工作时间: 工作日17:00-23:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************聊一聊
个人介绍
我是程序员客栈的wangxyhh，爬虫工程师，毕业于湖北理工学院，担任过易刚高科的爬虫工程师，负责爬虫项目的开发，爬取过小程序，网站，公众号，搭建了自定义代理池，熟练使用python，Java和JS也可。
工作经历
2025-05-26 -2025-08-28易刚高科爬虫
编写爬虫脚本，实现数据自动更新，爬过小程序、网站、公众号，训练过小模型，设计过算法对抗反爬虫。
教育经历
2021-09-01 - 2025-05-16湖北理工学院软件工程本科
语言
作品
行业：智慧农业、植物保护、农业信息化 业务场景：农业知识库构建、病虫害识别模型训练、数据分析和决策支持 功能模块：代理管理模块、请求调度模块（并发）、数据解析与存储模块、状态管理模块（断点续爬、增量更新）、定时任务模块 实现功能：自动爬取植小保小程序中的问答数据、病虫害识别结果、专家回复等。将爬取的数据结构化存储到数据库和本地文件中。支持增量爬取，避免重复爬取已处理的内容。支持高并发、代理轮换，提升爬取效率和稳定性。提供日志记录和错误重试机制，保证爬虫的鲁棒性。 技术选型：语言：Python 3，网络请求：httpx、requests，数据库：PostgreSQL，并发处理：threading + ThreadPoolExecutor，定时任务：schedule，JSON处理：json，日志管理：logging，代理服务：自定义代理池服务（通过HTTP接口获取代理）
02025-08-28 09:42
