我正在寻找一种使用kafkacat
. 是否可能或唯一的方法是通过此处列出的脚本?
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic mytopic
Run Code Online (Sandbox Code Playgroud) 我正在玩 Kafka 并使用我自己的 Zookeeper + kafka 本地单个实例,但遇到了这个我似乎不明白如何解决的错误。
我根据Apache Kafka 快速入门指南启动了一个简单的服务器
$ bin/zookeeper-server-start.sh config/zookeeper.properties
$ bin/kafka-server-start.sh config/server.properties
Run Code Online (Sandbox Code Playgroud)
然后利用kafkacat(通过 Homebrew 安装)我启动了一个 Producer,它只会回显我在控制台中输入的消息
$ kafkacat -P -b localhost:9092 -t TestTopic -T
test1
test1
Run Code Online (Sandbox Code Playgroud)
但是当我尝试使用这些消息时,我收到一个错误:
$ kafkacat -C -b localhost:9092 -t TestTopic
% ERROR: Topic TestTopic error: Broker: Leader not available
Run Code Online (Sandbox Code Playgroud)
同样,当我尝试列出其元数据时
$ kafkacat -L -b localhost:9092 -t TestTopic
Metadata for TestTopic (from broker -1: localhost:9092/bootstrap):
0 brokers:
1 topics:
topic "TestTopic" with 0 partitions: Broker: Leader not available (try …
Run Code Online (Sandbox Code Playgroud) 使用 -o(开始消费的偏移量)选项但不带 -G(组 ID)选项执行以下 kafkacat 命令是否会影响其他消费者组?
kafkacat -C -b 10.52.1.1:9092,10.52.1.2:9092,10.52.1.3:9092 -t MyTopic -o beginning
Run Code Online (Sandbox Code Playgroud) 在尝试将 kafkacat 与消息中心一起使用时,我使用了以下内容:
kafkacat -X client.id=xxxxx \
-X sasl.jaas.config='org.apache.kafka.common.security.plain.PlainLoginModule required username="xxxx" password="xxxx";' \
-X security.protocol=SASL_SSL \
-X sasl.mechanism=PLAIN \
-X ssl.protocol=TLSv1.2 \
-X ssl.enabled.protocols=TLSv1.2 \
-X ssl.truststore.type=JKS \
-X ssl.endpoint.identification.algorithm=HTTPS -b broker:port -C -t topic
Run Code Online (Sandbox Code Playgroud)
并得到以下错误:
% ERROR: Java JAAS configuration is not supported, see https://github.com/edenhill/librdkafka/wiki/Using-SASL-with-librdkafka for more information.
Run Code Online (Sandbox Code Playgroud)
如何使用 kerberos 和提供的凭据来创建正确的密钥,然后使用它们从主题中使用?
请帮忙
我们有 2 个 kafka 主题。我想从 topic1 开始复制 10 条消息到 topic2。
我尝试使用kafka-console-consumer和kafka-console-producer
首先,我将 10 条消息从 topic1 保存到某个目录:
for (( i=1; i<=10; i++ )); do bin/kafka-console-consumer.sh --bootstrap-server 1.1.2.3:9092 --group CONSUMER1 --topic TOPIC1 --max-messages 1 > /tmp/_topic/$i.msg; done;
Run Code Online (Sandbox Code Playgroud)
然后我尝试使用 kafka-console-producer 将其发送到 topic2:
for (( i=1; i<=10; i++ )); do bin/kafka-console-producer.sh --broker-list 1.1.2.4:9092 --topic TOPIC2 < /tmp/_topic/$i.msg; done;
Run Code Online (Sandbox Code Playgroud)
我遇到错误 - 我的服务无法反序列化数据。我的问题是:
UPD:我如何解决这个问题(感谢:Robin Moffatt):我使用 kafka-mirror 和这个 jar :https : //github.com/opencore/mirrormaker_topic_rename 我可以将消息从一个主题 kafka 复制到另一个主题簇