XiquanRen
1月前来过
全职 · 1000/日  ·  21750/月
工作时间: 工作日08:00-18:00、周末08:00-18:00工作地点: 远程
服务企业: 2家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

多年Python/JAVA开发工作经验,擅长爬虫,同时擅长运维管理,精通数据分析的全栈工程师。

Github链接:https://github.com/irvinren/

精通Python/Java/SQL/Bash/Java/Python/Linux/Teradata/Oracle/MySQL Database/Tableau/FineReport/Hadoop/Hbase/Pig/Hive/Spark/Kafka/ANSIBLE/Jenkins/Zsbbix/Nagios

工作经历

  • 2020-02-01 -至今自由职业运维开发

    Nagios监控系统 搭建Nagios监控系统,开发监控脚本,Nagios监控系统开源制定化。 Openstack私有云系统 监控 Openstack 私有云系统, 搭建 Mongodb数据库。 Openstack系统运维 Openstack安装运维与运维监控。 Mysql 数据库的 安装与维护。 Python多进程多线程共享原子性的开发 源代码https://github.com/irvinren/shared_atomic.git Pipy包https://pypi.org/project/shared_atomic/

  • 2019-08-01 -2020-02-01中建八局第一建设有限公司 ETL/数据分析

    发明数据架构以满足ETL需求。 安装和使用ETL工具完成数据的抽提转换与加载。 使用FineReport完成数据呈现。 对装载程序和SQL进行性能调优,确保数据的准确,以及及时的错误处理。 为企业优化与制定ETL工具代码。 使用人工智能进行自然语言处理。 升级与优化Finereport系统解决数据呈现问题。

  • 2015-09-01 -2016-04-01平安健康互联网股份有限公司上海分公司维护工程师

    搭建新的Hadoop/Hive/Hbase系统,支持在线交易与离线计算数据仓库计算平台。 搭建Ambari/Zabbix监控系统,搭建报警系统。 排查和修复Hadoop/Hbase/Hive问题。 HADOOP系统容量管理。 给HADOOP打补丁。

  • 2014-09-01 -2015-01-01亿贝软件工程上海有限公司高级容量工程师

    HADOOP运维开发 开发基于JAVA的CRONUS AGENT自动化部署,高度可放缩,集群管理和HADOOP系统临控。 使用Python/JAVA收集HADOOP/HBase性能数据。 HADOOP管理 发现,解决,修复配置问题,使用ansible playbook进行hadoop系统设置。 使用Jenkin完成自动化测试。 使用IAAS部置hadoop节点。

  • 2012-04-01 -2014-08-01康伟实软件(上海)有限公司系统工程师

    持续创新完成数组库资源管理目标。 通过负载合理化,发现容量节约的机会,基于历史数据优化负载。 处理查询性能优化。 基于用户历史性能数据给数据为用户打分,提供培训与提高查询性能。 提供7*24小时数据库支持服务。 开发脚本自动化数据库监控。 TD与HADOOP负载迁移以节约系统整体运营成本。

教育经历

  • 2017-09-01 - 2018-12-31伯明翰大学计算机科学 硕士

    系统性研究信息与计算的理论基础以及它们在计算机系统中如何实现与应用的实用技术的学科。信息安全的学习目标包括保护信息免受未经授权的访问、中断和修改,同时为系统的预期用户保持系统的可访问性和可用性。

技能

jQuery
MySQL
Oracle
0
1
2
3
4
5
0
1
2
3
4
5
作品
京东女性消费商品分析

使用Python爬虫从京东网页上爬取女性消费品的品类与价格与SKU,分析京东女性消费品与卖家的商业行为。 使用SQL完成数据汇总并呈现

0
2023-04-25 02:48
PDI(KETTLE)并行JOB执行之后的同步

enhanced the parallel execution with option to do serialization without subjob, essentially it got the hops each job entry is connected with before the job entry, count on the finished job entries, proceed when it reach the condition.

0
2023-04-25 03:52
Python共享原子性,可以为python程序提供多线程与多进程程序当中所需要的可共享变量的原子操作

Python共享原子性,可以为python程序提供多线程与多进程程序当中所需要的可共享变量的原子操作。同时提供了多人原子类,以方便其它程序调用。

0
2023-04-25 03:54
更新于: 2022-07-13 浏览: 79