kafka 消费端重复消费和漏消费以及提高吞吐量_consumer端的精准一次性消-CSDN博客

网站介绍:一 重复消费和漏消费1.1 重复消费重复消费:已经消费了数据,但是 offset 没提交。 1.2 漏消费二 解决重复消费和漏消费如果想完成Consumer端的精准一次性消费,那么需要Kafka消费端将消费过程和提交offset过程做原子绑定。此时我们需要将Kafka的offset保存到支持事务的自定义介质(比 如MySQL)。三 数据挤压怎么提高吞吐量1.如果是Kafka消费能力不足,消费者数量较少,则可以考虑增 加Topic的分区数,并且同时提升消费..._consumer端的精准一次性消