proginn0015476644
1月前来过
全职 · 300/日  ·  6525/月
工作时间: 工作日20:00-24:00、周末9:00-24:00工作地点:
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

开发方向:全栈开发,后端开发,前端开发,爬虫开发
语言技能:Python, Go, Js, nodejs, html, css
后端框架:gin,flask,tornado, Django
前端框架: vue
爬虫框架: scrapy
数据库: mysql, redis, mango

对工作认真负责,有时间和效率观念

工作经历

  • 2021-04-01 -2022-04-01深圳有鱼智能科技后台开发

    开发环境:Python3 Go nodejs tornado gin MySQL redis airflow   项目描述: 为第三方平台快速的接入基金功能,基金行情数据由云锋有鱼平台提供,但基金基金交易相关服 务部署到第三方的机房中,打造以云锋有鱼基金平台为上手的小型基金交易平台,以保证客户的相关 交易数据得到安全保障。 责任描述: 整个项目架构分为多个层级:api中心层、接入层、交易前置层、交易数据层、后台服务层、基金后台管理服务。 api中心层主要与第三方平台对接、做用户信息等校验。 接入层由nodejs完成,主要是路由分发,session等校验。 交易前置层做逻辑处理。 交易数据层与交易数据库交互。 基金后台管理服务处理基金的上下架等。 在该项目中主要负责基金交易数据服务,基金后台服务中的基金定投、基金智能调仓、文件传输等功能的迁移工作。

  • 2020-03-01 -2021-03-01深圳软通动力后台开发

    开发环境:Go gin MySQL redis vue   项目描述: 主要用于华为海思部门芯片产品管理、流程追溯,该系统包含芯片子版本管理、芯片型号管理、Die清单管理、BOM方案管理、Part&COA关联管理、编码维护单管理、项目管理等功能。 责任描述: 需求拆解。 搭建web框架。 数据库设计。 文件处理功能模块。 日志功能模块。 Espace、邮件功能模块。 后台任务模块。 Api功能模块。 业务功能接口开发(芯片子版本管理、芯片型号管理、Die清单管理、BOM方案管理、Part&COA关联管理、编码维护单管理、项目管理等)。 每月功能迭代。

  • 2016-07-01 -2020-01-01深圳房讯通爬虫开发

    开发环境:Windows Python3 Scrapy MySQL MongoDB Redis pyexecjs 项目描述: 项目是基于scrapy框架开发,主要抓取58同城、城市房产、安居客、链家、阿里法拍、海豚法拍等网站的房产数据,并对数据进行去重去偏差等标准化处理。 责任描述: 网站反爬分析。 Scrapy框架搭建。 爬虫程序开发,反反爬: (1)IP封锁,控制请求频率或者使用IP代理。 (2)Headers请求头校验,Refererr/User-Agent等设置 (3)字体反爬,需要找到对应字体文件,破解映射关系。 (4)js混淆反爬,找到对应的js文件,分析js源码,找到关键代码,用pyexecjs库传参执行js函数,获取动态数据,再根据该数据请求到对应接口。 (5)验证码反爬,使用selenium模拟浏览器请求破解,或者使用对接打码平台。 下载器下载数据后对应数据进行解析,用到的解析方式有lxml、xpath、re等。 数据去重去偏差标准化处理。 使用MongoDB存储数据。 项目部署、维护。

教育经历

  • 2012-09-01 - 2016-06-01烟台大学电力系统及其自动化本科

    在校期间学习过多门语言,计算机原理,数据结构等。

技能

0
1
2
3
4
5
0
1
2
3
4
5
作品
租房数据采集|标准化

开发环境:Windows Python3 Scrapy MySQL MongoDB Redis pyexecjs 项目描述: 项目是基于scrapy框架开发,主要抓取58同城、城市房产、安居客、链家、阿里法拍、海豚法拍等网站的房产数据,并对数据进行去重去偏差等标准化处理。 责任描述: 网站反爬分析。 Scrapy框架搭建。 爬虫程序开发,反反爬: (1)IP封锁,控制请求频率或者使用IP代理。 (2)Headers请求头校验,Refererr/User-Agent等设置 (3)字体反爬,需要找到对应字体文件,破解映射关系。 (4)js混淆反爬,找到对应的js文件,分析js源码,找到关键代码,用pyexecjs库传参执行js函数,获取动态数据,再根据该数据请求到对应接口。 (5)验证码反爬,使用selenium模拟浏览器请求破解,或者使用对接打码平台。 下载器下载数据后对应数据进行解析,用到的解析方式有lxml、xpath、re等。 数据去重去偏差标准化处理。 使用MongoDB存储数据。 项目部署、维护。

0
2023-04-30 06:18
HiPDM

开发环境:Go gin MySQL redis vue   项目描述: 主要用于华为海思部门芯片产品管理、流程追溯,该系统包含芯片子版本管理、芯片型号管理、Die清单管理、BOM方案管理、Part&COA关联管理、编码维护单管理、项目管理等功能。 责任描述: 需求拆解。 搭建web框架。 数据库设计。 文件处理功能模块。 日志功能模块。 Espace、邮件功能模块。 后台任务模块。 Api功能模块。 业务功能接口开发(芯片子版本管理、芯片型号管理、Die清单管理、BOM方案管理、Part&COA关联管理、编码维护单管理、项目管理等)。 每月功能迭代。

0
2023-04-30 06:19
云锋有鱼app

开发环境:Python3 Go nodejs tornado gin MySQL redis airflow   项目描述: 为第三方平台快速的接入基金功能,基金行情数据由云锋有鱼平台提供,但基金基金交易相关服 务部署到第三方的机房中,打造以云锋有鱼基金平台为上手的小型基金交易平台,以保证客户的相关 交易数据得到安全保障。 责任描述: 整个项目架构分为多个层级:api中心层、接入层、交易前置层、交易数据层、后台服务层、基金后台管理服务。 api中心层主要与第三方平台对接、做用户信息等校验。 接入层由nodejs完成,主要是路由分发,session等校验。 交易前置层做逻辑处理。 交易数据层与交易数据库交互。 基金后台管理服务处理基金的上下架等。 在该项目中主要负责基金交易数据服务,基金后台服务中的基金定投、基金智能调仓、文件传输等功能的迁移工作。

0
2023-04-30 06:20
更新于: 2022-05-07 浏览: 162