Kafka docker 撰写外部连接

Question

我想将 9093 暴露到 docker 容器之外。当我将 kafka-0 端口设置为暴露给 9093 和 KAFKA_ADVERTISED_LISTENERS 时，我无法连接到 localhost:9093，如以下 docker-compose 文件所示。

version: '3'

services:
  kafka-0:
    image: confluentinc/cp-kafka:5.2.1
    container_name: kafka-0
    hostname: kafka-0
    ports:
      - "9093:9092"
    environment:
      - KAFKA_BROKER_ID=1
      - KAFKA_ZOOKEEPER_CONNECT=wise-nlp-zookeeper:2181
      - KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka-0:29094,PLAINTEXT_HOST://localhost:9093
      - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1
    depends_on:
      - zookeeper

  zookeeper:
    image: confluentinc/cp-zookeeper:5.3.1
    container_name: zookeeper
    ports:
      - "2182:2181"
    environment:
      - ZOOKEEPER_CLIENT_PORT=2181

但是，当我更改为

ports:
 - "9092:9092"

和

- KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka-0:29094,PLAINTEXT_HOST://localhost:9092

我能够连接到 kafka 代理 localhost:9092。

如何将外部端口更改为 9093 以供应用程序连接？我想设立多个经纪人。

Answer 1

为什么目前不起作用？

\n\n

通告的侦听器（如 中所定义KAFKA_ADVERTISED_LISTENERS）是代理在其初始连接中返回给客户端以供其在后续连接中使用的主机和端口。

\n\n

如果您希望外部客户端使用 9093，那么这KAFKA_ADVERTISED_LISTENERS=\xe2\x80\xa6PLAINTEXT_HOST://localhost:9093是正确的。但是，您还没有配置您的KAFKA_LISTENERS，如果您在启动时检查代理日志，它将默认为由KAFKA_ADVERTISED_LISTENERS：

\n\n

kafka-0      |  listeners = PLAINTEXT://0.0.0.0:29094,PLAINTEXT_HOST://0.0.0.0:9093\n

\n\n

因此，在这种状态下，代理正在侦听端口 9093，但使用此 Docker Compose 指令，您已将外部连接重定向到容器内的 9093 端口到 9092 端口：

\n\n

    ports: \n      - "9093:9092"\n

\n\n

\xe2\x9e\x9c docker ps\nCONTAINER ID        IMAGE                             \xe2\x80\xa6 PORTS                                        NAMES\n8b934ef4145c        confluentinc/cp-kafka:5.4.1       \xe2\x80\xa6 0.0.0.0:9093->9092/tcp                       kafka-0\n

\n\n

因此，您的外部连接将转到容器\xe2\x80\x94中的端口 9092 ，并且代理不会侦听此端口。您可以通过以下方式验证这一点nc：

\n\n

-- Port 9093 is open on the host machine\n\xe2\x9e\x9c nc -vz localhost 9093\nConnection to localhost port 9093 [tcp/*] succeeded!\n\n-- Port 9092 is _not_ open on the Kafka container\n\xe2\x9e\x9c docker exec -it kafka-0 nc -vz localhost 9092\nlocalhost [127.0.0.1] 9092 (?) : Connection refused\n

\n\n

\xe2\x9d\x8c 您将看到客户端连接失败

\n\n

kafka-0      |  listeners = PLAINTEXT://0.0.0.0:29094,PLAINTEXT_HOST://0.0.0.0:9093\n

\n\n

你怎样才能解决它？

\n\n

您可以：

\n\n

\n
1. 将侦听器更改为您通过 Docker 端口重定向定位的端口。这会起作用，但我个人认为更令人困惑。
\n
2. 更改 Docker 端口重定向以定位侦听器所在的端口。这是我会使用的选项，因为它更清晰（例如，端口9093在整个过程中使用，而不是混合9092在一起9093）
\n

\n\n

选项 1：将侦听器更改为 Docker 端口重定向的目标端口

\n\n

    ports: \n      - "9093:9092"\n

\n\n

\xe2\x9c\x85测试：

\n\n

\xe2\x9e\x9c kafkacat -b localhost:9093 -L\nMetadata for all topics (from broker 1: localhost:9093/1):\n 1 brokers:\n  broker 1 at localhost:9093 (controller)\n

\n\n

选项 2：更改 Docker 端口重定向以定位侦听器所在的端口

\n\n

\xe2\x9e\x9c docker ps\nCONTAINER ID        IMAGE                             \xe2\x80\xa6 PORTS                                        NAMES\n8b934ef4145c        confluentinc/cp-kafka:5.4.1       \xe2\x80\xa6 0.0.0.0:9093->9092/tcp                       kafka-0\n

\n\n

\xe2\x9c\x85测试

\n\n

-- Port 9093 is open on the host machine\n\xe2\x9e\x9c nc -vz localhost 9093\nConnection to localhost port 9093 [tcp/*] succeeded!\n\n-- Port 9092 is _not_ open on the Kafka container\n\xe2\x9e\x9c docker exec -it kafka-0 nc -vz localhost 9092\nlocalhost [127.0.0.1] 9092 (?) : Connection refused\n

\n\n

从Docker 网络内连接到 Kafka

\n\n

上面的示例是关于从Docker 主机连接到 Kafka 的。如果您想从Docker 网络（例如另一个容器）内连接到它，您需要使用kafka-0:29094代理主机和 IP。如果您尝试使用，localhost:9093那么客户端容器将解析localhost为它自己的容器，从而失败。

\n\n

多个经纪商

\n\n

请参阅此处查看具有多个 Kafka 代理的 Docker Compose 示例。

\n\n

参考

\n\n

https://rmoff.net/2018/08/02/kafka-listeners-explained/

\n