新疆某电力系统数据采集项目

1、项目简介：
项目分为采集配置、采集引擎、实时监视、数据检索四个核心模块
2、技术栈：
我负责了采集引擎的开发，使用了SpringBoot、Kafka、ELK、Redis等技术
3、难点：数据多源异构：
问题描述：
数据来源于交换机、路由器、防火墙、IDS、IPS、工业主机、服务器等多种设备，每种设备的数据格式及支持的采集方式各不相同
解决方案：
针对多数据源问题，开发适用于不同设备的数采代理程序，并将数据汇聚到主数采代理节点；
针对数据异构问题，采用适配器模式对不同格式的数据进行解析、清洗、范化，最终得到规范化的数据