0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
全栈开发
深圳全职 · 500/日 · 10875/月信用一般
工作时间: 工作日09:00-23:00、周末09:00-23:00工作地点:
服务企业:
8家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
• 具备扎实的Python，Golang编程能力，熟练应用常用库以及第三方库，严格遵循PEP8编码规范； • 熟练掌握Linux命令，能在Linux系统下开发以及项目部署，熟悉Shell脚本编程语言； • 熟练使用Git，SVN版本控制工具进行团队协同开发，熟悉Docker容器等持续集成和开发工具； • 熟练掌握Django、Flask、Gin后端框架，了解Tornado，Echo框架使用，熟练使用restful风格的API开发； • 熟练基于Scrapy，Scrapy-redis，Requests，Selenium各模块的数据抓取； • 熟练应对爬虫验证码，登录，js异步加载，等各种反爬机制，熟悉Xpath、re等模块进行数据清洗； • 熟练使用MySQL、Redis、MongoDB、Oracle、ElasticSearch、ClickHouse数据库使用； • 熟悉SQL查询、建立索引和数据库调优，了解ElasticSearch、MongoDB 分布式集群配置及搭建； • 熟悉掌握Vue、HTML、JavaScript、CSS、jQuery、Ajax等前端框架，能快速开发网站页面； • 熟练使用前端构建工具Webpack，熟悉Echarts与ElementUi、前端模块化、组件化，前后端分离； • 熟悉使用uni-app + uview框***应用开发与发布； • 熟悉HTTP、TCP/IP网络协议，了解多进程、线程和协程的实现； • 了解Hadoop体系架构，能够部署、配置Hadoop分布式数据集群，并基于Hadoop应用开发； • 了解机器学习相关的包，熟悉操作Pandas以及Matplotlib实现数据的清洗和可视化；
工作经历
2021-10-01 -至今深圳市伊腾达科技有限公司全栈开发
使用Python、Golang、Vue进行产品前后端的开发以及维护工作； 负责系统功能设计，技术研究与选型； 实现技术难点、关键框架代码、核心逻辑代码； 制定及分解开发任务，带领项目成员完成开发；
2018-08-01 -2021-09-30深圳市易佰网络科技有限公司Python高级开发工程师
参与爬虫系统的架构设计与开发，完成采集任务、多线程爬虫； 与技术团队进行沟通，负责爬虫数据与业务系统的整合对接； 负责遵照项目需求完成相关应用的设计和开发，准确实现开发需求； 独立完成系统模块或小系统的设计和代码的实现； 负责自动化运维网站后端开发和自动化脚本开发； 负责前端系统页面的开发部署；
2017-07-01 -2018-08-01广州诚予国际市场信息研究有限公司Python开发工程师
参与爬虫系统的架构设计与开发，完成采集任务； 设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码等难点攻克； 负责多平台信息爬取和页面内容的提取分析； 与团队一起分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进，进行反爬策略的设计及优化；
教育经历
2013-09-01 - 2017-06-30南昌理工学院软件工程本科
2013年至2017年就读于南昌理工学院软件工程专业，期间获得计算机一级证书，英语4级证书等...
技能
作品
• 项目后端基于Python3.8 + Flask框架进行开发，前后端分离，采用MySQL数据库； • 项目前端基于Vue + Elementui框架进行开发，构建工具基于Webpack，使用axios实现前后端数据交互； • 使用Gin + Godlp对原始数据进行分类分级打标、判断敏感级别和实施相应的脱敏处理； • 流量原始数据通过C++创建共享内存后，Python通过ctypes调用系统的API读取共享内存的内容并解析； • 流量解析后的数据通过python-kafka推送到topic，consumer再将数据存储ElasticSearch； • 使用Python-Apscheduler实现数据资产、风险策略和系统漏洞定时扫描以及警报响应； • 基于Requests抓取外部威胁情报数据入库，关联流量数据进行安全风险分析与识别； • 使用Gin + Apisix实现网关数据接口的对外开放、认证鉴权与安全监控能力； • 项目基于Docker + uWSGI + Nginx进行部署，实现反向代理和负载均衡；
02023-04-30 22:31
内容：【项目介绍】 公司成立亚马逊防跟卖小组，每天定时爬取监控公司所有ASIN，ERP后台展示； 【技术实现】 1.根据需要爬取的数据进行需求分析，分析目标网站各站点的网页结构和一些反爬手段； 2.需要爬取的数据经过分析是可通过Get请求带上不同ASIN得到,考虑到数据量较多, 采用Scrapy-redis框架搭建分布式爬虫，实现url和数据去重、持久化、分布式、爬取更快； 3.考虑网站能否打开和打开时间问题，在spider里添加异常判断、超时、retry等减少报错； 4.请求大量返回503问题，需要构建各站点cookie池及USER-AGENT池，采用代理云动态IP； 5.爬取下来的数据按月份存储在mysql，减轻单表的负载； 6.使用scrapyd部署爬虫至多台服务器，实现分布式； 7.使用Gerapy框架和logging模块进行爬虫运行、状态、脚本监控，并根据日期定向 输出日志到log文件，爬虫出现异常通过钉钉机器人警报； 8.使用Flask框架开发数据API供数据部门调用；
02023-03-12 05:36
内容：【项目介绍】 帮助快速分析ERP每个系统的访问量及菜单接口的执行时间等，有助于各系统的体验优化； 【技术实现】 1.项目基于Django框架进行开发，前后端不分离，采用MySQL数据库； 2. 前端项目需求分析，技术选型，项目架构搭建和整体业务流程开发； 3. 页面采用Html 、CSS、JQuery等技术，使用AJAX实现前后端数据交互； 4. 采用Celery异步记录ERP各系统菜单的访问量，数据存储mongodb; 5. 使用python-kafka实时推送数据到大数据平台进行菜单访问实时计算； 6. 后端实现对数据进行增、删、改、查，异常警报处理； 7. 项目基于Django+uwsgi+Nginx进行部署，实现反向代理和负载均衡；
02022-04-26 17:11
用户评价
深圳市梦即生物科技有限公司
技术牛，非常不错，非常快速
