Chaperone Kafka 审计系统开源项目

作为Kafka审计系统，Chaperone监控数据流的完整性和延迟。审计指标持久存储在数据库中，供Kafka用户量化其主题的损失。

Chaperone的目标是在数据流经数据管道的每个阶段，能够抓住每个消息，统计一定时间段内的数据量，并尽早准确地检测出数据的丢失、延迟和重复情况。

Chaperone由几个部分组成：

ChaperoneClient是一个库，可以像Kafka生产者或消费者一样审计邮件。审计统计被发送到专用的Kafka主题，例如'chaperone-audit'。

ChaperoneCollector使用'chaperone-audit'的审计统计信息，并将其保存到数据库中。

ChaperoneService审计保存在Kafka中的消息。由于它是基于uReplicator构建的，它由两个子系统组成：ChaperoneServiceController，用于自动检测Kafka中的主题，并将主题分区分配给工作人员进行审计;ChaperoneServiceWorker从指定的主题分区审核消息。特别地，ChaperoneService和ChaperoneCollector一起确保每个消息被审核一次。