数据采集插件产品系统

提供给对于企业安全要求比较高的企业使用
1、采集、收集网络传感器拦截到的网络传输数据，包括图片、文件、文本等内容；
2、通过数据采集插件上传到数据处理平台；
3、在数据处理平台上进行威胁分析；

该插件实现了第三方平台数据文件的自动接收、格式化处理及流式推送功能，构建Kafka作为数据中转通道，结合本地ElasticSearch实现日志内容的可视化检索，提升系统数据处理能力与接入效率。

 本地部署FTP服务，接收第三方平台上传的数据文件，按规则读取并解析文件内容；
 对解析后的数据进行结构化处理，通过Kafka生产者写入指定Topic，供下游系统消费；
 编写Kafka消费者服务，将Topic中的数据转换格式后写入ElasticSearch自定义索引中；
 搭建日志检索页面，支持用户通过字段检索ES数据，实现数据内容的快速查询与定位；
 使用Python脚本定时检测FTP路径下新文件，触发数据采集流程，提升系统自动化水平。