数据库审计系统

项目环境：MySQL+ClickHouse+Spring+SpringMVC+MyBatis+RabbitMQ+Kafka+Linux
项目描述：属于二开项目，将数据存储从 Lucene 切换至 ClickHouse，是一款软硬一体化产品，将数据库
的各种访问操作，解析还原为数据库级的操作语句，通过预置的安全规则匹配，即可智能分析和监控访问者的各
种操作，可以准确的反馈数据库的各种变化，对我们分析数据库的各类正常、异常、违规操作提供证据。项目使用
SSM 框架搭建，使用 MySQL 存储配置数据、ClickHouse 存储审计数据。
项目职责：负责项目的技术攻关、需求设计、串讲、二次开发、冒烟测试、漏洞修复，主要负责检索模块和
数据维护模块以及数据存储的优化开发
1、数据存储：将原本的 lucene 存储数据转移至 clickhouse 中，优化检索以及报表展示性能。
2、检索：百亿级数据检索优化，经历两次优化，第一次优化通过百度分页方式将检索效率提升 10 倍，第二次
采用多线程+websocket 分批推送将检索时间提升至秒级，得到客户认可；
3、数据维护：自学 ClickHouse 数据库技术，查找资料了解 ClickHouse 分区，利用 ClickHouse 分区特性进
行审计数据的备份、清理和恢复，同时使用定时任务完成自动备份和自动清理。