面向互联网企业研发效能和 DevOps 场景，研发团队每天需要频繁执行应用构建、镜像构建、一体化构建等 CI 任务。随着业务规模扩大，传统构建系统容易出现任务排队时间长、Pod 创建销毁成本高、多 Kubernetes 集群资源利用不均、构建失败难定位、系统健康状态不可见等问题。本项目旨在建设一套企业级 CI 分布式构建调度与高可用监控系统，通过 Kubernetes 资源调度、Pod 资源复用、多集群管理、任务状态机、日志归档和监控告警能力，提升构建效率、系统稳定性和资源利用率。
系统支持应用构建、镜像构建、一体化构建等多类 CI 任务的统一调度和状态管理。核心功能包括构建任务接入、Build Step 多阶段编排、任务状态流转、Kubernetes Pod 生命周期管理、Pod 资源池复用、多集群资源调度、指定节点和节点标签调度、任务超时处理、失败重试、日志和 Kubernetes Event 归档、构建产物回写、企业微信通知、Hook 回调、主备调度切换、资源容量统计、Pod/Node 状态采集、CI 任务监控、服务健康检查和 Prometheus 指标采集。系统能够从任务创建、运行、完成到资源清理进行全链路跟踪，并对 CI 平台依赖的 Dragonfly、SonarQube、Prometheus 等服务进行连通性和健康状态检测。
我主要负责后端核心模块设计与开发，参与构建调度器、Pod 资源复用、多集群调度和监控服务建设。系统基于 Kubernetes 执行构建 Pod，使用 MySQL 管理任务状态，结合 Redis、Prometheus、对象存储、企业微信、GitLab 等基础设施完成状态同步、日志沉淀、产物回写和通知回调。设计并实现 Build Step 维度的任务状态机，将构建流程拆分为 Init、Running、Finish、Cleaned 等阶段，支持多步骤串行执行、阶段耗时回写、总状态聚合和跨步骤上下文传递。实现基于 worker 心跳的主备调度机制，支持多实例部署和异常实例自动接管。封装多集群 Kubernetes Client，根据指定节点、节点标签、故障演练集群和集群剩余资源进行调度。设计 Pod 资源复用池，为高频应用维护常驻构建 Pod，结合 Pod 特征匹配、LRU、集群负载和多因素加权策略完成 Pod 清理回收，减少重复创建销毁开销。同时为 K8s、对象存储等外部调用增加超时、重试和错误上下文，处理任务卡死、Pod 异常、并发状态更新等边界问题。
评论