网站介绍：文章浏览阅读3k次，点赞2次，收藏4次。Kafka自带方法：幂等性 +ack-1 + 事务kafka在0.11版新增了幂等型producer和事务型producer。前者解决了单会话幂等性等问题，后者解决了多会话幂等性幂等性: 支持单分区单会话, 分区内数据有序，对照id, 数据有唯一id存在不发送事务: 支持多分区, 数据有唯一id, 和所有分区中比较, 如果存在不发送, 效率低下 (生产环境较少使用, 容易数据挤压, 应更追求效率)保证数据 exactly-once 语义不重复的最佳解决办法:在下一级去重：SparkSt._kafka重复
- 链接地址：https://blog.csdn.net/a308601801/article/details/112004181
- 链接标题：Kafka数据重复详细解决办法_kafka重复-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：4431
- 网站标签：kafka重复
