中文母语水平
英语可口语交流
0
1
2
3
4
5
2小时前在线
爬虫工程师
重庆全职 · 300/日 · 6525/月信用正常
工作时间: 工作日08:00-22:00、周末10:00-17:30工作地点:
远程
服务企业:
0家累计提交:
0工时
聊一聊
个人介绍
我是程序员客栈的 码农，一名 爬虫工程师；
我毕业于 湖北大学，担任过 佰斯吉贸易有限公司 的 爬虫工程师，担任过 椿江科技 的 爬虫工程师；
负责过 谷歌地图餐饮店铺采集，复杂数据清洗，数据库迁移，名称翻译，海外平台数据采集，电子报纸数据采集 的开发；
熟练使用 python，feapder，mysql，redis，mongodb，sqlserver，postgrasql，drissionpage，selenium，curl_cffi，re；
如果我能帮上您的忙，请点击“立即预约”或“发布需求”！
工作经历
2025-09-07 -2026-12-07重庆椿江科技有限公司爬虫工程师
1. 负责马来西亚、新加坡、泰国、印尼、菲律宾、台湾等谷歌地图餐饮店铺数据采集 2. 负责采集回来的数据进行格式化清晰入库 3. 负责对前后数据进行对比计算 4. 负责韩国NaverMap平台数据采集 5. 负责香港openrice平台数据采集 6. 负责政府网站相关法律法规公告采集 7. 负责北京日报等各地报纸采集 8. 负责将mongodb中的数据迁移到postgrasql中 9. 负责将泰国、韩国的非英文名称翻译为英文
2025-03-01 -2025-08-31重庆佰斯吉贸易有限公司爬虫工程师
在该公司担任爬虫工程师，主要负责海外摩托车配件价格参数采集以及客户公司提供的配件数据pdf转文本清洗存入数据库，数据库基础管理
教育经历
2019-09-01 - 2023-06-01湖北大学数据科学与大数据技术本科
语言
作品
1、调度与任务层：feapder主控+RedisZSet任务池，支持任务下发、去重、失败重试与断点续跑，多机并行；2、采集与反爬层：Requests接口直连优先、Playwright渲染动态页面，浏览器自动化维护实时Cookie写入Redis复用，配合JA3指纹随机化、代理池与UA轮换控制封禁率；3
02026-11-11 20:38
1、药品注册目录采集：分页拉取NDC注册数据，提取通用名、商品名、生产企业、活性成分、剂型等字段；2、召回公告采集：拉取执法与召回记录，保留召回原因与风险分级；3、本地入库：SQLite主键幂等入库，支持增量（重复跳过）与全量（内容变化才更新）双模式；4、断点续跑与限流重试：采集游标落盘、触发429
02026-11-11 20:38
