该系统用于针对数据做一些规则检查,使用正则表达式、模版渲染引擎、Groovy 表达式来做数据的规则分析。
本人负责整个后端工程的开发,后端整个系统主要包括两大功能模块:
- data-cookie 数据库监听系统,负责监听canal(mysql binlog 监听中间件)服务端,解析数据库表的变动数据;
- data-quality-monitor 数据质量监测系统,提供 Kafka、Dubbo 作为数据的接入和解析。
项目难点:
- 提供灵活多样的规则检查方法,方便非开发同学也能编写一些简单的规则;
- 规则不能写死在代码中,而是存储在数据库中,其中 groovy 脚本需要做一些缓存处理,我们使用内存+Redis+mysql的三层缓存机制。
- 分析结果的搜索,我们采用ES作为搜索引擎。
点击空白处退出提示
评论