随着计算机技术和网络科技的不断发展和迅速普及,在数据爆炸式增长的今天,日志数据具有巨大的价值,它可以帮助系统快速定位故障,及时恢复系统运行，分析客户行为,来达到业绩快速增长。大数据综合分析平台提供自动化地对海量日志进行采集、存储、分析以及统计，可以及时发现IT系统中的安全隐患，安全防御的薄弱环节，同时解决人工效率低下以及面对海量数据人工无法进行管理的难题。通过系统内置的丰富统计报表、可视化视图能够直观展示安全事件的态势，实现海量日志全生命周期管理。另外，面对海量数据，系统支持快速发布与安装，一方面方便系统对全网日志实现自动采集、存储和分析，实现日志集中化管理和存档，及时发现问题所在；另一方面提高企业对其业务保障的要求
系统管理：对本系统的用户、角色进行管理，授权配置，对系统用户进行系统审计显示本系统用户访问系统模块操作记录。
索引管理：其中包括对索引列表的展示，索引模式管理，索引策略、索引快照等进行管理。
采集管理：主要是对数据的采集、监控、数据识别、beats管理和kafka采集。
数据源管理：对数据源进行管理，在数据源中可以配置不同数据源类型的系统进行数据采集。
任务管理：主要进行定时任务的配置和处理。
告警管理：主要对一些任务进行任务告警处理，以及告警记录和模板的管理。
分析管理：查询通过采集任务采集回来的数据。可通过配置不同的语句查询采集的数据；可通过图表形式查询该数据；可检某条数据上下文；可保存搜索条件、报表；可单独查看每条数据的文档
系统监控：展示当前服务器web、引擎及数据库节点占用服务器CPU、内存、磁盘情况。监控采集运行时节点的运行情况
主要负责索引管理和采集管理，以及分析管理，日志的采集以及分析的实现主要是Elasticsearch进行存储日志信息，由于采集的数据量很大，传统的mysql数据库在存储和查询性能上无法支撑业务需求，而Elasticsearch在查询性能上可以极大的满足业务需求，而日志收集主要依靠LogStash。除此以外，项目技术还用到了kafaka、quartz等
评论