0
1
2
3
4
5
18天前在线
数据采集工程师
上海全职 · 600/日 · 13050/月信用正常
工作时间: 工作日13:00-22:00、周末13:00-22:00工作地点:
远程
服务企业:
0家累计提交:
0工时
聊一聊
个人介绍
有搭建爬虫平台/框架工作经验；
有逆向分析技能并掌握各反反爬原理和解决方案；
各网页/APP 端复杂抓包技能；
运用逆向工具经验；
掌握网址池，代理池等部署；
熟练使用 fastapi 等快速搭建 api 接口；
ETL, qt, python, rust, vue/vitejs, react, tauri 等熟练；
linux.do 3级用户，紧跟 ai 前沿发展，harness/spec/skill 日常开发使用
工作经历
2021-07-01 -2023-06-17上海凭安征信服务有限公司数据采集工程师
主要工作为官方、友商公开数据采集；也有负责 ETL 相关工作用到如 spark，binlog 等工具；日常参与公司内部框架与工具如验证码项目的创建与优化； 以下列举一些负责的项目 ● 人企战略项目 qcc/tyc 的爬虫负责，中期开始负责部分新需求的 ETL 对外输出； ● 统一信用代码平台小程序抓包和反编译等；详情分享接口的极验滑块 js 破解，字体映射加密破解，相应的 ETL 工作； ● 一般纳税人项目：多种图片识别/点选/滑块验证码的训练/破解；同类网站的单模板复用框架结构设计； ● icp 项目：用多进程优化速度；ws 接收采集友商新数据比较找新速度； 其余还有裁判文书、特殊企业项目等等
教育经历
2012-09-01 - 2016-06-30广州大学机械制造及其自动化本科
资质认证
技能
作品
[2025-03]目前1千下载，150个star 技术栈：pyqt5，scrapy，html5等 主流的fluent ui界面 结构化解耦爬虫框架，易扩展修改 使用QWebEngineView，利用JavaScript回调结合html5做出友好交互效果 借助github action打包和内置处理github api，构成较为完整的更新系统 除开交互，利用单元测试脚本扩展做成命令行工具供另一种方式使用 参考他人开源项目完善化文档，并采用不少优秀开源项目作为此项目的一部分构成
02025-03-24 17:17
