0
1
2
3
4
5
1天前在线
爬虫开发
郑州全职 · 300/日 · 6525/月信用正常
工作时间: 工作日09:00-18:00、周末08:00-22:00工作地点:
远程
服务企业:
0家累计提交:
0工时
聊一聊
个人介绍
一、Go 开发与爬虫工程化
熟练使用 Go 开发爬虫系统及后端服务，具备通用 HTTP 请求组件与下载框架的独立设计和封装经验，能够处理请求头、请求参数、Cookie、代理、连接复用、超时控制及重试等场景。
具备并发采集、任务调度、失败恢复、异常处理及采集链路优化经验，能够设计可复用的采集组件，提升系统稳定性与可维护性。
熟悉 RabbitMQ、Redis、MySQL、MongoDB、Elasticsearch、Etcd 等组件，具备异步任务处理、数据去重、状态管理及动态配置管理经验。
熟悉 Linux、Shell、Docker 及 Docker Compose，具备服务部署、自动化运维和线上问题排查经验。
二、Web 逆向与反爬对抗
具备 JavaScript 逆向实战经验，涉及 Webpack 代码分析、AST 分析JSVM（Jsvmp）、浏览器环境补全及动态参数生成逻辑还原。
具备主流平台接口逆向经验，包括抖音 a_b 参数分析、浏览器环境补全及纯算法实现，小红书 x-s 参数分析与环境补全，以及快手滑块验证流程和 did 相关参数分析。
具备复杂反爬机制分析与处理经验，涉及瑞数动态防护、极验验证码、百度旋转验证码，能够结合网络请求、脚本执行流程及运行环境定位关键校验逻辑。
工作经历
2025-11-04 -至今河南策知科教爬虫开发
主导高校内容安全监测与网页采集系统建设，基于 Go 构建覆盖站点寻源、栏目发现、列表页解析、详情页采集、正文分类及数据存储的完整采集链路，采用 RabbitMQ 实现多服务解耦与异步任务流转，支撑采集体系稳定运行。 设计并封装通用 HTTP 请求组件及下载框架，支持请求头、Cookie、代理、连接复用、超时控制与失败重试等能力；针对约 12 万个栏目页面实施批量采集与处理，通过并发 Worker、请求复用及异常恢复机制，将单轮采集周期由约 6～8 小时压缩至约 30 分钟，显著提升采集吞吐效率。 实现列表链接抽取、URL 规范化、同站校验、附件过滤、标题清洗、发布时间提取及多维去重等解析能力；基于 Go 集成 LightGBM 构建 18 维页面特征，融合正文署名关键词与标题匹配信号，有效提升首页、栏目页与正文页的识别准确率。 负责***文章及微博内容采集，围绕平台请求流程、接口参数、Cookie、动态参数及反爬机制开展分析，完成内容获取、数据解析与采集流程维护；针对接口变更与访问限制持续优化请求策略及异常处理机制，保障采集任务连续稳定执行。 开发并维护 ***数据采集服
2025-03-11 -2025-11-04河南封神电商爬虫开发
多平台内容采集与逆向系统 技术栈：Go、Gin、JavaScript、JSVMP、Redis、HTTP 代理 项目介绍： 主导多平台内容采集与逆向系统的架构设计及核心模块开发，覆盖抖音、小红书、快手、今日头条等平台，支持内容列表、视频/图文详情、评论及用户主页等数据采集，负责采集服务、请求管理、账号调度及核心签名参数逆向。 核心工作： 高性能采集服务： 基于 Go + Gin 构建多平台采集 API 服务，优化 HTTP 请求处理、连接复用、并发调度及异常恢复机制，单节点日请求处理量达到千万级，支撑多平台采集任务稳定运行。 通用请求与账号管理： 统一封装请求参数构造、请求头管理、Cookie 注入、代理配置及异常处理逻辑；搭建 Cookie 池，支持多账号轮换、代理绑定、账号状态检测及失效处理，提升请求模块复用性与采集链路稳定性。 抖音签名算法逆向： 针对抖音 a_bogus 参数开展 JavaScript 逆向分析，结合 JSVMP 逻辑追踪与浏览器环境补全，还原关键参数生成及加密计算流程，实现纯算法本地化，并通过独立 API 提供参数生成能力，减少对原始 JavaScrip
教育经历
2012-09-01 - 2015-07-01山西华澳商贸职业学院计算机专业专科
