1. 前端埋点：通过前端埋点技术，收集用户行为信息，包括页面访问、事件触发等。 2. 流量日志收集：建立流量日志收集系统，将用户行为信息进行统一收集和存储。 3. 日志流量分析：基于收集的日志数据进行流量分析，包括页面访问分析、事件分析、用户分析、漏斗分析、活动分析和用户画像等。 4. 流量管理后台：提供流量管理后台，包括业务接入、图表展示、分析结果和优化方案等功能。 使用技术和工具： ● 编程语言和框架：Java, Spring Boot。 ● 数据库和存储：GreenPlumDB和ElasticSearch用于数据存储和查询。 ● 缓存和消息队列：Redis用于缓存数据，Kafka用于实时数据传输和处理。 ● 大数据处理：Spark用于大规模数据处理和分析。 ● 日志分析和搜索：ElasticSearch用于日志数据的分析和搜索。

核心开发人员，我参与了Kafka消息队列平台的架构设计、开发和测试工作。该平台为公司提供了可靠的基于消息的异步通信服务，实现了不同应用之间的消息收发，降低了开发成本，便于维护。底层系统根据业务需求，实现了消息队列的弹性扩展，对上层业务无感知。 项目职责和功能模块： 1. 集群扩展和底层包封装：设计和实现了集群的弹性扩展机制，根据业务需求调整消息队列的队列数量和存储容量，并封装了底层包，简化上层业务的开发工作。 2. 集群指标收集和预警通知：实现了集群指标的收集和监控，通过健康检查和预警通知功能，保证集群的稳定运行。 3. 用户接入和管理中心：设计和实现了用户申请接入流程，包括系统审核和分配APPID。同时开发了管理中心，提供集群状态查看、topic管理、集群灾备管理等功能。 4. 数据收集和分析展示：收集用户连接数据、消息流量数据和消费记录，并提供数据分析和展示，包括集群JMX指标展示、topic历史消息展示和用户数据分析展示。 5. 堆积报警和健康检查：实现了消息堆积的报警功能，并通过健康检查保证集群的健康状态。 使用技术和工具： ● 编程语言和框架：Java, Spring Boot, MyBatis, Quartz, Kafka。 ● 缓存：Redis用于缓存数据。 ● 数据库：使用MySQL和Elasticsearch进行数据存储和查询。 ● 可视化展示：使用Echarts和Grafana实现数据的可视化展示。

AI智能监控平台：可采集和接入多种数据源并支持海量数据清洗，数据处理和复杂系统架构，具备多维度规则组合AI智能告警管理、灵活通知分派和查询分析可视化告警等功能，旨在帮助运维人员更快速、更准确地定位和解决问题，提高业务稳定性和运维效率。 项目职责： 我负责项目的整体产品设计，架构设计、开发和交付工作，确保项目的顺利实施和成功交付。 功能模块： ● 数据采集：从客户各种监控源中获取监控数据，并将其存储到数据中心。 ● 数据清洗和预处理：对采集的监控数据进行清洗和预处理，包括异常数据去除和缺失值填充，以便后续处理和分析。 ● 数据整合和管理：通过ETL过程将数据整合并进行管理，构建统一的CMDB，并建立和管理不同业务系统的拓扑关系。 ● 指标提取和特征工程：根据客户需求和业务特点，从监控数据中提取有意义的指标，并进行特征工程，为后续的异常检测做准备。 ● AI异常检测：对提取的指标进行模型训练和异常检测，识别异常行为和潜在故障，并保存指标异常检测结果。 ● 告警触发：基于异常指标和预设的告警规则组合，触发告警通知相关人员进行处理。 ● 数据可视化和分析：将监控数据进行可视化，以便客户进行数据分析和监控效果评估。 使用技术： java，springboot，springcloud，xxl-job，clickhouse，ElasticSearch，filebeat，flink，Ray，kafka zookeeper，hadoop，hdfs