小编Dip*_*man的帖子

默认的Kafka分区器创建哈希键冲突

我有一个包含 10 个分区的主题,并且生成了具有A,B,C,D,E,F,G,H,I9 个不同键的事件。

我观察到消息这样做:

Partition 0- (Message1, Key E), (Message2, Key I)
Partition 1- (Message3, Key F) 
. 
. 
Partition7-(Message4, Key A), (Message5, Key A)
Partition8- Empty 
Partition9- Empty
Run Code Online (Sandbox Code Playgroud)

同一分区中有 2 条具有不同键的消息,并且也有空分区。

Kafka 的默认分区器是否会产生冲突?

我从一个流中进行生产,该流与两个默认的其余生产者保持平衡。

这就是我所期待的:

 Partition 0- (Message1, Key E)
 Partition 1- (Message3, Key F) 
 . 
 . 
 Partition7-(Message4, Key A), (Message5, Key A)
 Partition8-(Message2, Key I) 
 Partition9- Empty
Run Code Online (Sandbox Code Playgroud)

hash key partitioner apache-kafka

4
推荐指数
1
解决办法
6675
查看次数

2
推荐指数
1
解决办法
959
查看次数