kafka QuickStart,advertised.host.name给出了kafka.common.LeaderNotAvailableException

Question

我能够在一台Linux机器上获得一个简单的单节点Kafka(kafka_2.11-0.8.2.1)本地工作,但是当我尝试远程运行生产者时,我遇到了一些令人困惑的错误.

我正在关注http://kafka.apache.org/documentation.html#quickstart上的快速入门指南.我停止了kafka进程并删除了/ tmp中的所有zookeeper和karma文件.我在本地10.0.0.0/24网络NAT-ed上有一个外部IP地址,所以我修改server.properties告诉zookeeper如何广播我的外部地址,按照https://medium.com/@thedude_rog/running-kafka- in-a-hybrid-cloud-environment-17a8f3cfc284:

advertised.host.name=MY.EXTERNAL.IP

然后我运行这个:

$ bin/zookeeper-server-start.sh config/zookeeper.properties
--> ...
$ export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" # small test server!
$ bin/kafka-server-start.sh config/server.properties
--> ...

我为远程计算机上的生产者打开了防火墙,并创建了一个新主题并对其进行了验证:

$ bin/kafka-topics.sh --create --zookeeper MY.EXTERNAL.IP:2181 --replication-factor 1 --partitions 1 --topic test123
--> Created topic "test123".
$ bin/kafka-topics.sh --list --zookeeper MY.EXTERNAL.IP:2181
--> test123

但是,我正在远程运行的生产者给了我错误:

$ bin/kafka-console-producer.sh --broker-list MY.EXTERNAL.IP:9092 --topic test123
--> [2015-06-16 14:41:19,757] WARN Property topic is not valid (kafka.utils.VerifiableProperties)
My Test Message
--> [2015-06-16 14:42:43,347] WARN Error while fetching metadata [{TopicMetadata for topic test123 -> 

对于主题[test123],由于kafka.common.LeaderNotAvailableException}]没有主题test123的分区元数据:class kafka.common.LeaderNotAvailableException(kafka.producer.BrokerPartitionInfo) - >(重复多次)

(我禁用了整个防火墙,以确保不是问题.)

重复启动业务启动中的stdout错误: [2015-06-16 20:42:42,768] INFO Closing socket connection to /MY.EXTERNAL.IP. (kafka.network.Processor)

controller.log多次给我这个:

java.nio.channels.ClosedChannelException
    at kafka.network.BlockingChannel.send(BlockingChannel.scala:100)
    at kafka.controller.RequestSendThread.liftedTree1$1(ControllerChannelManager.scala:132)
    at kafka.controller.RequestSendThread.doWork(ControllerChannelManager.scala:131)
    at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:60)
[2015-06-16 20:44:08,128] INFO [Controller-0-to-broker-0-send-thread], Controller 0 connected to id:0,host:MY.EXTERNAL.IP,port:9092 for sending state change requests (kafka.controller.RequestSendThread)
[2015-06-16 20:44:08,428] WARN [Controller-0-to-broker-0-send-thread], Controller 0 epoch 1 fails to send request Name:LeaderAndIsrRequest;Version:0;Controller:0;ControllerEpoch:1;CorrelationId:7;ClientId:id_0-host_null-port_9092;Leaders:id:0,host:MY.EXTERNAL.IP,port:9092;PartitionState:(test123,0) -> (LeaderAndIsrInfo:(Leader:0,ISR:0,LeaderEpoch:0,ControllerEpoch:1),ReplicationFactor:1),AllReplicas:0) to broker id:0,host:MY.EXTERNAL.IP,port:9092. Reconnecting to broker. (kafka.controller.RequestSendThread)

运行这似乎表明在0处有一个领导者:

$ ./bin/kafka-topics.sh --zookeeper MY.EXTERNAL.IP:2181 --describe --topic test123
--> Topic:test123   PartitionCount:1    ReplicationFactor:1 Configs:
Topic: test123  Partition: 0    Leader: 0   Replicas: 0 Isr: 0

我重新尝试这个测试,我的server.log表明领导者在0:

...
[2015-06-16 21:58:04,498] INFO 0 successfully elected as leader (kafka.server.ZookeeperLeaderElector)
[2015-06-16 21:58:04,642] INFO Registered broker 0 at path /brokers/ids/0 with address MY.EXTERNAL.IP:9092. (kafka.utils.ZkUtils$)
[2015-06-16 21:58:04,670] INFO [Kafka Server 0], started (kafka.server.KafkaServer)
[2015-06-16 21:58:04,736] INFO New leader is 0 (kafka.server.ZookeeperLeaderElector$LeaderChangeListener)

当我从生产者发送消息时,我在日志中看到此错误:

[2015-06-16 22:18:24,584] ERROR [KafkaApi-0] error when handling request Name: TopicMetadataRequest; Version: 0; CorrelationId: 7; ClientId: console-producer; Topics: test123 (kafka.server.KafkaApis)
kafka.admin.AdminOperationException: replication factor: 1 larger than available brokers: 0
    at kafka.admin.AdminUtils$.assignReplicasToBrokers(AdminUtils.scala:70)

我认为这意味着由于某种原因无法找到经纪人？我很困惑这意味着......

Answer 1

对于最新版本的Kafka(撰写本文时为0.10.0),您根本不想使用它advertised.host.name.事实上,甚至[文档]都声明advertised.host.name已经弃用了.此外,Kafka不仅将其用作生产者/消费者的"广告"主机名,而且还用于其他经纪人(在多经纪人环境中)......如果您使用的话,这会很痛苦经纪人的不同(也许是内部)DNS ......你真的不想进入/etc/hosts向经纪人个人添加条目的事情(ew!)

因此,基本上,您希望经纪人使用内部名称,但仅为生产者和消费者使用外部FQDN .为此,您将更新advertised.listeners.

Answer 2

将advertised.host.name设置为主机名,而不是IP地址.默认设置是使用getCanonicalHostName()返回FQDN,但这只是尽力而为,并且回退到IP.有关getCanonicalHostName()的信息,请参阅java文档.

诀窍是让主机名始终解析为正确的IP.对于小型环境,我通常会在/ etc/hosts中设置所有内部IP的所有主机.这样,所有机器都知道如何通过内部网络按名称相互通信.实际上,现在也要按名称配置Kafka客户端,而不是IP.如果管理所有/ etc/hosts文件是一个负担,那么设置一个内部DNS服务器来集中它,但内部DNS应该返回内部IP.这些选项中的任何一个都应该比在各种机器上的各种配置文件中分散IP地址的工作少.

一旦所有内容都按名称进行通信,剩下的就是使用外部IP配置外部DNS,一切正常.这包括使用服务器名称而不是IP 配置Kafka客户端.

Answer 3

总而言之,解决方案是通过NAT添加路由,以便机器可以访问自己的外部IP地址.

Zookeeper使用它在advertised.host.name中找到的地址来告诉客户端在哪里找到代理以及与代理本身进行通信.报告的错误并没有使这一点变得非常清楚,而且令人困惑,因为客户端打开TCP连接没有问题.

Answer 4

以线索,从上面:我的单个节点(同时还在学习)我修改有文字server.properties文件"advertised.host.name"来value=127.0.01.所以最后它看起来像这样

advertised.host.name = 127.0.0.1

在启动制作人时,它仍会显示警告,但现在它至少可以工作,而我可以看到消费者终端上的消息完全正常