广义开发
9天前在线
全职 · 300/日  ·  6525/月
工作时间: 工作日7:30-21:00、周末08:30-20:30工作地点: 远程
服务企业: 1家累计提交: 0工时
聊一聊

APP聊一聊

个人介绍

资深爬虫开发工程师,拥有2年数据采集经验,精通反爬虫策略及海量数据清洗。同***独立开发能力,擅长将采集的数据通过小程序端进行实时可视化展示,打造从“数据源”到“C端展示”的完整闭环。熟悉网络相关法律法规,严格遵守Robots协议,确保数据采集合规。


可开发网站数据***以及网页等前端(全栈开发数据爬取)

工作经历

  • 2026-01-01 -至今自由职业爬虫

    项目一:针对抖音电商/娱乐直播间,实时抓取用户在直播间内的礼物赠送明细(含礼物ID、价值、赠送用户ID及时间戳),为主播运营提供实时战报数据 · 逆向分析与抓包:利用 Charles/Fiddler 对抖音App端进行HTTPS抓包,分析Protobuf协议及二进制数据流,成功解析出礼物赠送的实时接口。 · 反爬对抗(签名破解):针对抖音接口常见的 X-Gorgon、X-Khronos 等加密签名参数,通过Hook技术或算法逆向,编写Python脚本模拟生成有效请求签名,绕过服务端校验。 · 高并发实时采集:采用 WebSocket 长连接维持心跳,结合 Asyncio + Aiohttp 异步框架,同时监听数十个高人气直播间的礼物消息 项目二 爬取前程无忧、智联招聘、BOSS直聘等主流招聘网站的职位信息(含岗位描述、薪资、公司名称、学历要求等),构建垂直领域的招聘数据分析库。 核心职责与技术实现: · 多平台适配与动态渲染:针对各平台不同的页面结构,采用 Scrapy 框架作为核心调度器。对于动态加载的页面(如Ajax接口),使用 Selenium/Playwright 驱动无头

教育经历

  • 2024-09-01 - 2028-07-12江苏理工学院软件工程本科已认证

    本科软件工程在读,熟练Vue3、Node.js、MySQL技术栈,独立完成校园外卖全栈项目***+后台管理系统共用一套后端,熟悉前后端分离开发,可独立完成小程序定制、管理系统开发、接口联调、部署维护等工作。

语言

中文母语水平
英语无工具书面交流
0
1
2
3
4
5
0
1
2
3
4
5

技能

Python熟练
0
1
2
3
4
5
作品
抖音个人账号喜欢&收藏视频批量抓取工具

1.项目有哪些具体功能模块:①自动化登录模块:基于Playwright启动真实Chromium浏览器,读取douyin_state.json本地缓存的登录态,首次运行需在浏览器中手动登录,之后免登录复用Cookie,支持密码登录和扫码登录两种方式。②反检测模块:集成playwright-stealt

0
2026-08-25 12:30
招聘平台信息专业爬取demo

①爬虫抓取模块(scrape_lightweight.py):基于curl_cffi异步并发,模拟Chrome131浏览器指纹,自动轮转代理池,支持断点续爬,可抓取猿急送平台所有兼职项目数据(标题、预算、工时、状态、描述等)。②智能过滤模块:内置黑名单关键词库,自动排除高难度(架构/专家/底层)、违

0
2026-08-25 12:23
缘聚 — 婚恋交友微信小程序

项目包含14个页面,核心功能模块:1)启动登录:splash页等待登录,8秒超时机制,全局globalData状态管理;2)首页:心动匹配列表展示、语音房列表、悬浮菜单(发起语音房/搜索好友/附近的人);3)语音房:文字聊天、成员管理、开麦闭麦、VoIP多人音视频通话、点击成员头像发起私聊;4)私聊

0
2026-08-25 12:09
更新于: 08-25 浏览: 58