AI智能监控平台：可采集和接入多种数据源并支持海量数据清洗，数据处理和复杂系统架构，具备多维度规则组合AI智能告警管理、灵活通知分派和查询分析可视化告警等功能，旨在帮助运维人员更快速、更准确地定位和解决问题，提高业务稳定性和运维效率。项目职责：我负责项目的整体产品设计，架构设计、开发和交付工作，确保项目的顺利实施和成功交付。功能模块：● 数据采集：从客户各种监控源中获取监控数据，并将其存储到数据中心。● 数据清洗和预处理：对采集的监控数据进行清洗和预处理，包括异常数据去除和缺失值填充，以便后续处理和分析。● 数据整合和管理：通过ETL过程将数据整合并进行管理，构建统一的CMDB，并建立和管理不同业务系统的拓扑关系。● 指标提取和特征工程：根据客户需求和业务特点，从监控数据中提取有意义的指标，并进行特征工程，为后续的异常检测做准备。● AI异常检测：对提取的指标进行模型训练和异常检测，识别异常行为和潜在故障，并保存指标异常检测结果。● 告警触发：基于异常指标和预设的告警规则组合，触发告警通知相关人员进行处理。● 数据可视化和分析：将监控数据进行可视化，以便客户进行数据分析和监控效果评估。使用技术：java，springboot，springcloud，xxl-job，clickhouse，ElasticSearch，filebeat，flink，Ray，kafkazookeeper，hadoop，hdfs