作为Kafka审计系统，Chaperoe监控数据流的完整性和延迟。审计指标持久存储在数据库中，供Kafka用户量化其主题的损失。
Chaperoe的目标是在数据流经数据管道的每个阶段，能够抓住每个消息，统计一定时间段内的数据量，并尽早准确地检测出数据的丢失、延迟和重复情况。
Chaperoe由几个部分组成：
ChaperoeCliet是一个库，可以像Kafka生产者或消费者一样审计邮件。审计统计被发送到专用的Kafka主题，例如'chaperoe-audit'。
ChaperoeCollector使用'chaperoe-audit'的审计统计信息，并将其保存到数据库中。
ChaperoeService审计保存在Kafka中的消息。由于它是基于uReplicator构建的，它由两个子系统组成：ChaperoeServiceCotroller，用于自动检测Kafka中的主题，并将主题分区分配给工作人员进行审计;ChaperoeServiceWorker从指定的主题分区审核消息。特别地，ChaperoeService和ChaperoeCollector一起确保每个消息被审核一次。
评论