无法从 Windows 生成在 WSL 2 上运行的 Kafka 主题

Question

我正在 Ubuntu WSL2 上成功运行最新的 Kafka。我可以在 WSL 上运行的 Ubuntu 中很好地启动 Zookeeper、kafka 服务器、创建主题、控制台生成和控制台消费。但是，当我进入 Windows 上的 Intellij 并创建一个简单的 Java Producer 时，它似乎无法连接到代理

版本和主机名

    Java version: 1.8
    Kafka Version: 2.6
    hostname (from Ubuntu): KDAAPPDEV04
    hostname (from Powershell): KDAAPPDEV04
    java.net.InetAddress.getLocalHost().getHostName() = KDAAPPDEV04
    java.net.InetAddress.getLocalHost().getCanonicalHostName() = KDAAPPDEV04
    netstat from CMD:
        TCP    [::1]:9092             [::]:0                 LISTENING

server.properties 我在另一个答案中找到了这个设置，但这些对我不起作用。

advertised.listeners=PLAINTEXT://127.0.0.1:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT
listeners=PLAINTEXT://0.0.0.0:9092

然后尝试（并重新启动zookeeper和kafka）

advertised.listeners=PLAINTEXT://KDAAPPDEV04:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT
listeners=PLAINTEXT://0.0.0.0:9092

制片人

我使用三个不同的值运行这个生产者：主机名、本地主机和 127.0.0.1，但它从未连接到代理

    public class ProducerDemo{

    private static Logger logger = LoggerFactory.getLogger(ProducerDemo.class);

    public static void main(String[] args) throws UnknownHostException{

        System.out.println(InetAddress.getLocalHost().getHostName());
        System.out.println(InetAddress.getLocalHost().getCanonicalHostName());

        String bootstrapServers = "127.0.0.1:9092";
//        String bootstrapServers = "localhost:9092";
//        String bootstrapServers = "KDAAPPDEV04:9092";

        //create Producer properties
        Properties properties = new Properties();
        properties.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,bootstrapServers);
        properties.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.setProperty(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());

        //create the producer
        KafkaProducer<String,String> producer = new KafkaProducer<String, String>(properties);

        //create a producer record
        ProducerRecord<String,String> record = new ProducerRecord<String, String>("first-topic","hola mundo");

        //send data
        producer.send(record);

        //flush + close
        producer.flush();
        producer.close();
    }
}

错误

[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version: 2.6.0
[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka commitId: 62abe01bee039651
[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka startTimeMs: 1601666175706
[kafka-producer-network-thread | producer-1] WARN org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Connection to node -1 (KDAAPPDEV04/my-ipconfig-address-here:9092) could not be established. Broker may not be available.

Answer 1

有同样的问题。根本原因似乎是 WSL2 在 IPv6 和 localhost 方面被破坏（请参阅： https: //github.com/microsoft/WSL/issues/4851）

我发现的唯一修复方法是在 Linux 和 Java 客户端中运行的 Kafka 服务器配置中使用 IPv6 环回地址 ::1，而无需每次重新启动时更改配置（根据上面的“172.*”建议）在Windows中。

在 server.properties 中我有这个：

listeners=PLAINTEXT://[::1]:9092

同样在我的 Java 客户端引导服务器配置中我使用

"[::1]:9092"

Answer 2

我遇到了您所遇到的确切问题，我解决了如下问题：

1. 我在 WSL2 Ubuntu shell 中运行了以下命令： ip addr | grep "eth0" 我记下了 inet 属性的 IP 地址，例如 172.27.10.68
2. 在我的 Kafka server.properties 中，我替换了listeners属性值，如下所示：listeners=PLAINTEXT://172.27.10.68:9092 我注释掉了advertising.listeners属性。但您也可以将相关 IP 分配给此属性，并将监听器属性设置为 0.0.0.0。但我假设您使用 Kafka 安装用于测试/学习目的，所以我会保持简单。
3. 我没有更改 Zookeeper 的默认 ip:port
4. 我正在使用架构注册表，因此我修改了 Kafka 引导属性，如下所示： kafkastore.bootstrap.servers=PLAINTEXT://172.27.10.68:9092 我没有对默认架构注册表侦听器listeners=http://0.0 进行任何更改。 0.0:8081
5. 我在我的 IntelliJ Kafka Producer 中使用了相同的 IP（如上所列）。然后它愉快地连接到我在 WSL2 中的 Kafka 代理。

有关 WSL2 网络的更多信息，请访问https://learn.microsoft.com/en-us/windows/wsl/compare-versions。

此设置的唯一问题是，每次关闭或重新启动 Windows 计算机，或关闭 Ubuntu 终端时，eth0 的 IP 地址都会发生变化。这会导致重做步骤 2、4 和 5。我确信有更好的方法，但我尝试的所有方法都失败了，除了这个。

Answer 3

这不是最佳解决方案，但如果您在 Ubuntu/WSL 中运行生产者，您将能够连接。这意味着如果您使用 Windows IDE，编写代码，切换到 Ubuntu 并使用命令行编译器并运行生成器。请参阅这篇文章在 WSL2 中通过 IDE 连接到 kafka 服务器时出错