proginn_pirly
16天前在线
全职 · 360/日  ·  7830/月
工作时间: 工作日09:00-18:00、周末09:00-18:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

对编程有浓厚兴趣,目前致力研究爬虫,数据采集,数据清洗技术

selenium自动化

scrapy 框架 redis分布式 多线程

Xpath bs4 正则解析清洗数据

JS逆向解密 验证码识别

等等都会

工作经历

  • 2023-12-01 -至今电商博通科技爬虫工程

    电商数据爬取,负责爬取html页面生成的数据,并对数据进行清洗解析,归档,输出等 设计和开发分布式爬虫,数据的采集爬取,调度,监控,自动化运行等等

教育经历

  • 2009-09-01 - 2013-07-01华南师范大学管理本科

    全日制本科

技能

Redis
MySQL
MongoDB
0
1
2
3
4
5
0
1
2
3
4
5
作品
某安银行商城商品数据获取,解密2重签名

post请求参数分析,需要解密2重签名嵌套逻辑,反向根据webpack模式找到签名生成模块,并重写更改,拿到2重签名套入参数

0
2024-04-13 12:15
某准招聘信息爬取

requests 模拟headers cookies请求拿到加密数据 回溯加密逻辑 解密翻页面参数,用过js逆向批量解密回应数据 再清洗数据

0
2024-04-12 14:44
某如网租房页,页面数据爬取,并清洗(图片偏移量解密标价信息)

模拟cookies headers requests 请求数据,使用bs4 Xpath 正则来清洗数据. 难点在于标价分几种,都是图片加密的形式,拿到不是直接文本数据,需要解密

0
2024-04-12 14:44
更新于: 04-13 浏览: 10