0
1
2
3
4
5
1月前来过
python开发工程师
武汉全职 · 500/日 · 10875/月信用正常
工作时间: 工作日22:00-23:00、周末08:00-20:00工作地点:
服务企业:
29家累计提交:
1工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
为人诚恳，乐观开朗，具有拼搏精神，工作积极认真，有责任心及团队精神，沟通能力良好，学习能力较强，遇到困难不退缩，敢于面对，能够在较短时间内解决问题，有一定规划能力，始终怀有一颗学习的心。平时喜欢逛CSDN，掘金，知乎，博客园，Githup，也会把工作中遇到的技术点，知识点和踩过的坑写在博客里，每当遇到难题时喜欢钻研，更乐意与大家一起讨论解决问题。
工作经历
2019-07-01 -至今南京软件谷发展有限公司python开发工程师
项目名称：51job网站，抖音，快手，小红书等商业平台数据获取 责任描述： 1.编写爬虫程序，设计反反爬策略，数据清洗，分表存储，维护代理IP 项目描述： 使用Scrapy框架获取网站信息，确定抓取信息，创建MySQL数据库字段，连接Redis数据库， 实现Redis数据库作为MySQL数据库的缓存，减小MySQL数据库的储存压力，运行代码进行数据获取和储存。 项目技术： 1.使用Scrapy爬虫框架获取数据 2.分析请求头，模拟登录和发送请求 3.利用fildder抓包工具获取数据传输的API接口 4.使用正则，XPath，CSS选择器，bs4提取网页信息。 5.使用MySQL进行数据储存
教育经历
2016-09-01 - 2019-07-01黄河交通学院电子信息专科
2016年9月至2019年7月，在黄河交通学院专修电子信息，在校期间表现优异担任学习部长一职，组织策划校内重大活动。
技能
作品
快手数据获取分为web端数据和app端数据，都是通过接口获取的数据，运用mitmproxy+weditor方式获取数据，网页端后期采取了字体加密，获取数据后存入Mysql数据库。
02021-07-20 18:03
抖音数据获取分为APP端和web端，APP端运用mitmproxy+weditor获取接口数据，客户端需要通过js逆向破解签名参数加密获取接口数据，后期存入Mysql数据库。
02021-07-20 17:28
小红书商业平台数据都是通过接口获取，本项目爬取的是客户端数据，所用账号是私人提供，项目初步构建框架，中间涉及到验证码反爬，IP封禁，UA检测等反爬问题，都经过特殊手段处理过，后期存入Mysql数据库。
02021-07-20 16:48
