项目时间：2018.10-至今项目描述：   由于需要从xxxx通信运营商那里引入大量数据PB级别，决定使用使用NIFI把基站数据引入HDFS存储，使用spark、hive对数据做处理，然后把处理后的数据，存入oralce数据库，供前端展示 于一期项目产生的数据越来越大，单点oracle数据库已无法满足项目的存储、计算需求，研讨后决定使用基于pg数据库的greenplum存储数据分析数据项目职责：从客户那里申请60台256G内存，50TB存储的高配服务器服务器的raid配置，系统安装，参数优化，网络配置，iptables配置等使用ambari工具部署HDP集群，使用kerberos对HDP集群做认证管理使用zabbix监控集群的硬件的系统，实时通过微信观察集群的健康状态部署GreenPlunm数仓，配置master节点和standby节点，保证控制节点高可用，并且配置mirror数据库，保证数据节点高可用使用NIFI（免费ETL工具），配置任务把数据引入到Grennplum数仓和HDFS解决大数据开发工程师、dba工作中遇到的各种报错协助研发做部分结构化数据的分析（hive、spark、gp、mysql等方式）整理项目部署、维护文档