卡夫卡重新分配__consumer_offsets不正确？

Question

我对__consumer_offsets主题的kafka-reassignment-paritions如何工作感到困惑？

我从1个zk和1个kafka代理开始，创建一个复制= 1，分区= 1的测试主题。消费和生产。工作正常。

我看到创建了__consumer_offsets主题。

现在，我添加另一个具有offsets.topic.replication.factor = 2的代理。我跑了

kafka-reassign-partitions --zookeeper zookeeper1：2181 --topics-to-move-json-file topic-to-move.json --broker-list“ 101,102” --generate

生成的重新分配看起来不正确。即使有2个实时代理，也仅显示一个副本。

我希望为每个分区获取以下副本：[101，102]或[201，101]

{
  "version": 1,
  "partitions": [
    {
      "topic": "__consumer_offsets",
      "partition": 19,
      "replicas": [101]
    },
    {
      "topic": "__consumer_offsets",
      "partition": 30,
      "replicas": [102]
    },
    {
      "topic": "__consumer_offsets",
      "partition": 47,
      "replicas": [101]
    }, ...

感谢任何建议。

-Vms

Answer 1

如果要增加主题的复制因子，请执行以下步骤：

1. 创建一个包含重新分配计划的json文件。就您而言，该文件可能如下所示：

   {"version":1, "partitions":[
     {"topic":"__consumer_offsets","partition":0,"replicas":[101,102]}, 
     {"topic":"__consumer_offsets","partition":1,"replicas":[102,101]},
     {"topic":"__consumer_offsets","partition":2,"replicas":[101,102]},
     {"topic":"__consumer_offsets","partition":3,"replicas":[102,101]},
     ...
     {"topic":"__consumer_offsets","partition":49,"replicas":[101,102]}
   ]}
   

2. 运行以下命令以增加此内部主题的RF：

   bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file reassign.json --execute
   

然后运行kafka-topics.sh --describe以查看复制因子是否增加到2。