EdwardNewgate
1月前来过
全职 · 600/日  ·  13050/月
工作时间: 工作日18:00-23:30、周末8:00-22:30工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

*业务标签:大数据,微服务,外贸,电商,数据采集,数据加工
*前端技术栈:Javascript,Html,CSS,jquery,vue.js
*后端技术栈:python,Django,Flask,php,swoft,shell 
*服务端技术栈:K8s,Linux,Docker,Mysql,Redis,Hbase,Mongodb,Nginx,Apache
*ELK 技术栈:elasticsearch,logstash,beats,kibana
*Hadoop 技术栈: zookeeper,hadoop,hive,hbase,sqoop,kafka,spark
*版本控制工具栈: svn,git
*扩展后端技术栈: java,node.js,php

工作经历

  • 2019-03-01 -至今广州聚焦网络有限公司python 开发工程师

    项目名称:客户 B2B 平台站点一键搬家 项 目 链 接 : www.lifisher.com/consult/153.html 项目描述:为客户提供产品数据一键搬家服务,完成对公司全网通,视频官网,小渔夫等客户的建站需求 项目模块:数据加工,数据可视化,业务端数据清洗 技术描述:Elasticsearch+HBase+Celery+Python+Django+uWSGI+K8s+Docker+Redis 责任描述:搭建数据采集,数据加工,数据业务推送的分布式架构 1、搭建 Dockerfile 部署的镜像、容器启动执行指令、构建特殊业务环境,实现 K8s 集群弹性调动数据采集 容器和数据加工容器; 2、Redis 构建任务状态缓存,监听 Redis 状态达到数据采集,数据加工,数据推送,数据容灾等功能操 作; 3、优化 HBase 查询业务逻辑,业务 id(唯一)与任务 id(不唯一)关联,保证多平台业务任务并发进行, Elasticsearch 全文索引引入搜索引擎解决查询,二级索引用于变换数据存储格式实现加速非主键查询; 4、数据采集端通过 HBase 的 ODS 层(数据准备层

  • 2016-07-01 -2019-02-01广州安俊科技有限公司开发工程师

    项目名称:链家经纪人 Link 加油站 项目描述:链家经纪人 Link 加油站由链家内网提供专对于门店销售经纪人的商城,提供证书识别,确保销 售经纪人使用 link 手机 app 在各门店完成登录,使用虚拟货币链币进行购物体验。 项目模块:用户信息、 商品信息、商品搜索、支付模块、订单模块 技术描述: python+Django+mysql+redis+celery+nginx+uWSGI+ Zabbix 职责描述:用户信息(注册、登录、用户认证、找回密码、用户中心等) 责任描 述: 1、将首页进行页面静态化处理向后端发送请求,通过 uwsgi 服务器获取属于用户的动态资源数据; 2、商品详情页的静态化在编辑商品信息时触发生成静态化页面,这个过程使用异步服务器添加异步任务, 提高 uwsgi 服务器性能; 3、添加邮箱验证功能,在邮件中提供的激活链接地址,使用了 itsdangerous 对 user_id 和 email 数据 进 行处理,生成 token 作为链接的参数; 4、用户密码重置功能, 验证图片验***则替换的方式显示掩***检验短 信 验证码后,

教育经历

  • 2014-09-01 - 2017-07-01广州康大职业技术学院计算机网络技术专科

    1、成绩优秀 2、在计算机协会积极完成项目 3、积极参加技术活动

技能

Hadoop
gRPC
Flask
Nginx
NoSQL
多线程
Node.js
系统架构
0
1
2
3
4
5
0
1
2
3
4
5
作品
链家经纪人 Link 加油站

项目描述:链家经纪人 Link 加油站由链家内网提供专对于门店销售经纪人的商城,提供证书识别,确保销 售经纪人使用 link * app 在各门店完成登录,使用虚拟货币链币进行购物体验。 项目模块:用户信息、 商品信息、商品搜索、支付模块、订单模块 技术描述: python+Django+mysql+redis+celery+nginx+uWSGI+ Zabbix 职责描述:用户信息(注册、登录、用户认证、找回密码、用户中心等) 责任描 述: 1、将首页进行页面静态化处理向后端发送请求,通过 uwsgi 服务器获取属于用户的动态资源数据; 2、商品详情页的静态化在编辑商品信息时触发生成静态化页面,这个过程使用异步服务器添加异步任务, 提高 uwsgi 服务器性能; 3、添加*验证功能,在邮件中提供的激活链接地址,使用了 itsdangerous 对 user_id 和 email 数据 进 行处理,生成 token 作为链接的参数; 4、用户密码重置功能, 验证图片验证码和*号,以正则替换的方式显示掩盖过的*号信息,检验短 信 验证码后,依然使用 itsdangerous 生成一个用于重置密码的 token; 5、在事务中创建保存点来记录订单数据的特定状态,数据库出现错误时,可以恢复到数据保存点的状态; 6、考虑到并发性遵循乐观锁的原则,采用 MySQL 的事务不可重复读(read-committed)隔离级别,原 始库存条件更新,返回更新的条目数,保证库存输出结果无异常; 7、用户中心的分店地址列表的进行缓存处理,把缓存数据保存在 redis 服务器中; 8、最近浏览的商品显示,采用 redis 中的列表类型来保存数据; 9、使用 Elasticsearch 引擎进行分词处理实现关键词检索功能,使用 Docker 容器管理; 10、利用扩展 xadmin,安装 xlwt 扩展方便导出到 xls 文档数据,添加多功能的 CKEditor 富文本编辑 器。 11、配置主从服务器数据同步,在主服务器上写入实时数据,而在从服务器上读取分析这些数据,从 而分担 主服务器读操作; 12、nginx+uWSGI 进行部署;.

0
2023-04-11 00:12
聚查查和聚链通

项目名称:聚查查 项 目 链 接 : www.juchacha.cn 项目描述:企业数据搜索服务 项目模块:平台开发,数据导出 技术描述: Python+Flask+Vue+Mysql+Redis+Nginx+UWSGI+Elasticsearch 责任描述:搭建数据采集,数据加工,数据可视化支持 1、为公司及分公司商务团队提供数据可视化支持 2、根据多项目业务需求进行技术迭代开发 项目名称:聚链通 项 目 链 接 : links.321tops.com 项目描述:聚集海外博客网站,为客户提供外链发布服务 项目模块:平台对接,文章模块对接, 技术描述: Python+Django+Flask+Vue+Mysql+Redis+Celery+Nginx+UWSGI+Selenium 责任描述:对接网站成功率,进程管理,服务器管理 1、使用 Django 框架部署后端业务逻辑,使用 VUE 框架+ element 部署前端业务逻辑,使用 flask 框架 部署海外服务器,实现 shocket 接收 json 信息完成项目的业务逻辑。 2、使用 celery+redis 集群分布式部署任务队列,实现 selenium 自动化对接海外平台的业务逻辑,部署 Celery 堆中的 revoke 方法,实现根据 task_id 获取 celery 里的 task 即将执行的 func 函数对象, 以 python 的垃圾回收机制里面的引用计数法,将该对象 delete 掉离开作用域,优化了在不更改 redis 缓存队列的情况下,保持队列正常执行 task_func 不执行。 3、后端 django 框架使用 orm 进行对象化数据库交互防止 sql 注入,海外服务器使用 flask 部署由于开 启防火墙后开放接收后端端口,限制了内网 ip 请求和服务器 ip 无客户端交互,所以在数据库交互上使 用了原始 sql 语句进行快速查询入库。 4、使用 DFA 算法,对客户发布文章进行敏感词过滤。 5、实现序列化 user 表对象,根据表字段值的不同对用户进行权限划分,优化了后端框架路由的代码量和 减少了数据库查询的量。 6、自建站 docker 容器管理,使用布隆过滤器筛选文章是否存在。

0
2023-04-11 00:14
客户 B2B 平台站点一键搬家

项目描述:为客户提供产品数据一键搬家服务,完成对公司全网通,视频官网,小渔夫等客户的建站需求 项目模块:数据加工,数据可视化,业务端数据清洗 技术描述:Elasticsearch+HBase+Celery+Python+Django+uWSGI+K8s+Docker+Redis 责任描述:搭建数据采集,数据加工,数据业务推送的分布式架构 1、搭建 Dockerfile 部署的镜像、容器启动执行指令、构建特殊业务环境,实现 K8s 集群弹性调动数据采集 容器和数据加工容器; 2、Redis 构建任务状态缓存,监听 Redis 状态达到数据采集,数据加工,数据推送,数据容灾等功能操 作; 3、优化 HBase 查询业务逻辑,业务 id(唯一)与任务 id(不唯一)关联,保证多平台业务任务并发进行, Elasticsearch 全文索引引入搜索引擎解决查询,二级索引用于变换数据存储格式实现加速非主键查询; 4、数据采集端通过 HBase 的 ODS 层(数据准备层)去噪,去重,字段命名规范等一系列操作,到 DW 层(数据汇总层)进行字段合并、空值处理、脏数据处理、产品数据相似度处理、类型数据汇总等,数 据加工端通过 DM 层(数据集市层)进行宽表的多维度数据整合、根据 TTL 对产品过期数据进行删除、 多版本业务访问少数据访问时计算、存储各项目业务图片和视频本地化 url,最后数据推送服务给 APP 层(数据产品层); 5、根据不同项目需求做数据中转,用 Django 架构起服务业务特定需求的数据清洗推送,Celery 分布式处 理数据查询推送,uWSGI 部署任务回调接口,及任务 id 对业务 id 的关联查询接口。

0
2023-04-11 00:15
更新于: 2022-11-19 浏览: 105