2、公司内部IKP平台采用docker+kubernetes作为测试、生产环境架构,主要是实现pyspark、tensorflow模型和airflow容器化,实现模型应用的高可用和自愈功能
实现流程:
2.1、 编写Dockerfile构建pyspark、jupyterhub、pytorch应用镜像(基础镜像->公共库镜像->应用镜像),并定时清理过期镜像
2.2、 使用二进制方式部署kubernetes集群
2.3、 部署和维护Harbor私有容器仓库
2.4、 编写kubernetes的efk、traefik、prometheus、dashboard、storageclass等yaml实现功能
2.5、 实现jenkins kubernetes项目CICD流程
2.6、 kubernetes测试、生产环境应用部署、测试、上线