0
1
2
3
4
5
1月前来过
Python工程师
深圳全职 · 800/日 · 17400/月信用正常
工作时间: 工作日08:30-18:00、周末08:30-12:00工作地点:
远程
服务企业:
5家累计提交:
1工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
本人有多年的python开发经验，熟悉常见的反爬处理，逆向过某程滑动，文字点选验证码，对常用的解析技术比较熟练，正则，CSS、XPATH选择以及Ajax异步请求
设计过cookie池，vps拨号动态代理ip池
各大航司官网数据采集量达到过千万级/日
熟悉各种主流数据库的操作
开发***的机票预定程序
设计过cookie池，vps拨号动态代理ip池
各大航司官网数据采集量达到过千万级/日
熟悉各种主流数据库的操作
开发***的机票预定程序
工作经历
2018-09-17 -至今深圳博览天下有限公司Python工程师
• 主导公司数据采集小组抓取程序的设计、开发与任务分配 • 构建自由vps拨号ip代理池，个别航司cookies 池，编写各种反爬程序，逆向Js加密值。 • 负责爬取吉祥航空，九元航空，四川航空，厦门航空航班信息。并负责数据的清洗、解析、爬取的去重然后投递到消息队列，爬取数据量从18年底到19年中由先前的单日40万条提升到300万条以上 • 负责开发了吉祥航空，九元航空，四川航空，厦门航空，天津航空自动预订下单与自动支付和自动退票程序，机票的出票量也由以前的单日千张以内提升到单日票量过万；2021年开年，通过技术手段在吉祥航空实现了十日额外净赚70万的纯利润，这十日吉祥航空单个航司总票量过十万，个人也得到了老板的奖励与分红
教育经历
2010-09-01 - 2013-06-01重庆交通大学电子科学与技术专科
本人于重庆交通大学2013年大专毕业，期间无挂科科目，通过计算机国家C语言二级证书，主要课程为数电，模电，通信原理，Java软件编程，C语言基础等
技能
作品
官网数据采集机器人包含了数据采集，分析清洗，心跳推送，线程调节，采集任务配置。前台管理界面会实时监测机器人运行状态，数据采集过程中的信息，比如采集数据的目标，耗时，结果等。数据使用部门工作人员可以自行通过前台管理采集机器人的运行情况。
12021-06-21 11:35
自建的拨号代理IP池，支持静态代理与动态代理，前台管理包含了拨号周期管理，ip有效时间管理，服务器管理，拨号日志管理，拨号成功率统计分析，IP重复率分析，拨号超时分析（拨号耗时分析）。解决了购买第三方代理IP并发受限制的问题，同时成本减少了70%。
02021-06-21 09:52
1，集成了多个航司的自动退票功能 2，包含手动退票与一键自动退票 3，退票程序通过Rabbit MQ实现与后台系统直接的解耦 4，有处理航司网站JS加密值 5，代理使用自有实现的VPS拨号代理池 6，登录系统根据不同账号权限，加载不同的航司 7，图片验证码的处理
02021-06-10 09:48
