40万台机器监控平台：异常检测、回归检测与自动缓解产品系统

参与Microsoft 365 FuseBot监控平台建设，平台覆盖40万+台机器、300+服务和10000+健康信号。信号主要包括可用性、错误率和延迟等指标。FuseBot基于这些信号发现异常，将异常与版本和配置变更关联，识别change-related regression，并为根因分析、自动缓解和渐进式发布提供依据。

平台持续监测10000+健康信号，包括可用性、错误率、延迟及其他服务健康指标。发现信号异常后，系统获取对应的异常机器列表，并关联这些机器上的版本和配置元数据；通过计算候选变更与异常在时间和空间上的关联得分，对可能的根因进行排序。分析结果用于告警、故障调查和自动缓解，并为部分服务生产发布流水线提供健康验证：健康版本通过验证后即可推进发布，异常版本则被阻断，从而加快安全版本的部署进度。

在FuseBot平台中，负责安全发布验证、响应时延回归检测和跨云部署相关开发。

1）安全发布验证：将基于健康信号的自动验证接入部分服务的生产发布流程，替代单纯依赖固定等待时间的推进方式。健康版本通过验证后即可继续发布，检测到回归的版本则被阻断，在保持发布安全的同时加快正常版本的部署进度。

2）响应时延回归检测：改进响应时延回归算法，使其能够区分持续性的性能退化与短时波动，更准确地评估性能下降的严重程度，减少稳定小幅回归的漏报和瞬时尖峰造成的误报，并支持不同信号使用独立的判定阈值。在取数阶段直接完成聚合，大幅减少传输和处理的数据量，使计算能够从Spark迁移到服务进程内存中执行，将端到端处理时间从约17分钟缩短至约30秒，并通过43项单元及集成测试。

3）云环境自动化部署：完成包含500+ Azure资源的测试环境建设，将资源创建、应用部署和配置迁移纳入代码化流程，统一处理版本、身份权限、证书和运行依赖，并加入基础异常检测验证；随后将该方案复用于具有独立部署要求的云环境。