向主机Kafka服务器生成消息时出现容器化的Kafka客户端错误

Question

stackoverflow上有许多类似的查询类型,但没有一个与我看到的问题完全匹配.

我的服务器上有一个zookeeper/kafka设置,可以很好地工作.一个人可以生产

bin/kafka-console-producer.sh --broker-list 192.168.2.80:9092 --topic test

和消费

bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.80:9092 --topic test --from-beginning

本地在Linux Ubuntu 16.04服务器上.

从Docker容器 - 也运行Ubuntu 16.04 - 我想生产和消费.容器的Kafka代码是从服务器上复制的.首先,我可以创建一个新主题

bin/kafka-topics.sh --create --zookeeper 192.168.2.80:2181 --replication-factor 1 --partitions 1 --topic test2

从容器中再次列出它

bin/kafka-topics.sh --list --zookeeper 192.168.2.80:2181

但是,当我尝试使用上面的(kafka-console-producer.sh)命令生成新消息时,它失败并显示以下消息:

[2017-06-05 13:59:05,317] ERROR Error when sending message to topic test2  with key: null, value: 2 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test2-0: 1526 ms has passed since batch creation plus linger time

输入消息文本后立即按Enter键.

在同一主机上运行Docker容器似乎很奇怪,但是一旦这个工作,我将把容器移动到一个单独的主机进行生产.

我的kafka server.properties文件:

listeners=PLAINTEXT://0.0.0.0:9092

卡夫卡版:

2.12-0.10.2.1

Docker版本:

Docker version 1.12.6, build 78d1802

Answer 1

问题是(略微简化)由Kafka的协议如何工作引起的.给定一个"引导服务器"列表(例如localhost:9092),Kafka客户端将联系那些引导服务器,但随后使用引导服务器返回的实际Kafka代理的主机名(代理的advertised.listeners配置,取决于您的Kafka/Docker设置,可能会设置为eg kafka:9092).所以在这里,客户端会谈论localhost:9092引导(这将工作),但然后切换到kafka:9092(这将无法工作,"谢谢"网络设置).

幸运的是,有一种方法可以"正常工作"的方式配置Kafka + Docker,并且它不需要恶作剧,例如摆弄主机的/etc/hosts文件等.作为其中的一部分,您需要设置一些(新的)Kafka设置,这些设置是在kafka的KIP-103中添加的:内部和外部流量的分离.

这是Docker Compose(docker-compose.yml)的一个片段,演示了如何执行此操作:

---
version: '2'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:3.2.1
    hostname: zookeeper
    ports:
      - '32181:32181'
    environment:
      ZOOKEEPER_CLIENT_PORT: 32181

  kafka:
    image: confluentinc/cp-kafka:3.2.1
    hostname: kafka
    ports:
      - '9092:9092'
      - '29092:29092'
    depends_on:
      - zookeeper
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:32181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092
      # Following line is needed for Kafka versions 0.11+
      # in case you run less than 3 Kafka brokers in your
      # cluster because the broker config
      # `offsets.topic.replication.factor` (default: 3)
      # is now enforced upon topic creation
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

这里的关键设置是:

• listener.security.protocol.map(通过设置KAFKA_LISTENER_SECURITY_PROTOCOL_MAP)
• inter.broker.listener.name
• advertised.listeners

在上面的设置中,容器化的Kafka代理侦听localhost:9092来自主机(例如Mac笔记本电脑)kafka:29092的访问权限以及从其他容器访问.

完整的端到端示例位于:https: //github.com/confluentinc/cp-docker-images/blob/v3.2.1/examples/kafka-streams-examples/docker-compose.yml(文档于http://docs.confluent.io/3.2.1/cp-docker-images/docs/tutorials/kafka-streams-examples.html).

Answer 2

您的生产者（在容器中）无法解析 Linux 来宾操作系统的主机名，该主机名是在 Kafka 生产者向引导服务器发出初始元数据请求时返回的。您可以将其手动添加到容器内的 /etc/hosts 文件中，或者将“--add-host”参数添加到启动运行生产者的映像的 docker run 命令中