1. 熟悉Linux系统的安装部署、日常管理操作等，熟悉shell命令。
2. 熟悉mysql、Redis、达梦等数据库。
3. 熟悉使用zabbix等监控软件部署，配置与维护，熟悉ansiblie等自动化工具。
4. 熟悉nginx,tomcat,kafka,zookeeper等。
5. 熟悉Hadoop，Hive，HDFS，Hbase等大数据组件以及其底层原理。
6. 了解Docker、K8S等。
7. 熟悉云产品(华为云，火山云，ucloud)，了解常用的监控指标。
大数据能力输出平台作为一个接口管理平台，负责大数据集群对外提供接口的工作，通过可视化配置，提供一个统一的API接口，供客户端调用。
工作描述：
1. 负责大数据能力输出平台、Mysql、Elasticsearch集群的部署。
2. 负责大数据能力输出平台的日常运行及维护，保证大数据能力输出平台的正常运转。
3. 编写接口配置上线投产手册，针对大数据能力输出平台本身功能，以及配置接口配置流程编写成文档。
4. 负责大数据能力输出的平台的测试，运维工作。针对测试过程中出现的问题编写形成文档。
公司目前使用的是华为云，ucloud云以及公司自己的idc机房，有一个kafka集群的机器以2-2-1的形式分别部署在不同的云服务器上，考虑到云的成本以及其它因素，不再使用华为云，改为使用字节的火山云，需要将华为云上的两台kafka机器迁移到火山云的云服务器上；由于是线上环境，要在保证集群正常使用的前提下平滑迁移到火山云，决定采用kafka机器先扩容后缩容的方案
评论