APP聊一聊
抗压能力强,擅长接触不同领域,独立解决问题
2024-09-14 -2026-04-09五八同城数据采集工程师
采集web端数据,负责基本的数据建设,有数据采集-入库-对接业务层输出标准数据的全流程经验; 有手机app端自动化采集的经验;
2023-07-12 -2024-09-13灵犀深智爬虫工程师
电商平台web端数据采集,以及负责开发部分业务接口,有大模型构建特定行业知识库的经验;
2014-09-01 - 2018-07-01沈阳航空航天大学航空航天工程本科
1.系统支持采集平台的快速配置,默认内置中间件提供模拟请求头、加载代理ip等的基本的反爬能力,增加了自定义拓展中间件的能力;2.对于非结构化数据,采用外网采集+内网大模型解析的框架,双端增加多道安全认证保证数据传输安全;3.采用分布式框架,任务队列有重试和过期机制;4.数据库数据和代码均需要加密,增
本项目针对boss直聘的反爬风控体系,设计并实现了一套高隐匿、高稳定的m端数据采集方案。系统突破传统API逆向或简单Selenium模拟的局限,通过指纹浏览器环境隔离与长效静态住宅代理相结合,获取高信任度的Cookie,进而实现对职位信息的高效抓取。
Python自动化脚本工程师
100元/天
个人独立开发者
技能:C++,Python
技术研究员
300元/天
独立开发者
技能:Torch
教师
江西软件职业技术大学
技能:Python
高级后端工程师
自由