我需要删除testApache Kafka 0.8.1.1中的主题.
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test
但是,这会导致以下消息:
Command must include exactly one action: --list, --describe, --create or --alter
如何删除此主题？
如何在linux中找到kafka版本？是否有办法找到已安装的kafka版本,而不是在下载时提及版本？
有没有办法在每次运行之前删除主题中的所有数据或删除主题？
我可以修改KafkaConfig.scala文件来更改logRetentionHours属性吗？一旦消费者阅读消息,是否有消息被删除的方式？
我正在使用生产者从某个地方获取数据并将数据发送到消费者消费的特定主题,我可以在每次运行时删除该主题中的所有数据吗？我只想在主题中每次都有新数据.有没有办法以某种方式重新初始化该主题？
我正在使用apache kafka进行消息传递.我用Java实现了生产者和使用者.我们如何获取主题中的消息数量？
KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message));
producer.send(keyedMessage);
目前,我发送的消息没有任何密钥作为键控消息的一部分,它仍然可以使用delete.retention.ms吗？我是否需要发送密钥作为邮件的一部分？将密钥作为消息的一部分是否合适？
我发出了删除主题的命令:
./bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic vip_ips_alerts
它似乎给出了一个快乐的回应:
[2014-05-31 20:58:10,112] INFO zookeeper state changed (SyncConnected) (org.I0Itec.zkclient.ZkClient)
Topic "vip_ips_alerts" queued for deletion.
但是现在10分钟后,主题仍然出现在--list命令中:
./bin/kafka-topics.sh --zookeeper localhost:2181 --list
vip_ips_alerts - marked for deletion
那是什么意思呢？当将话题被真正删除？我该如何加快这个过程？
我需要删除kafka-0.8.2.2.3中的主题.我使用以下命令删除主题:
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic DummyTopic
该命令执行成功,但是当我运行命令列出主题时,我可以看到该主题仍然存在,并显示标记为删除.
bin/kafka-topics.sh --list --zookeeper localhost:2181
DummyTopic - marked for deletion
当我创建DummyTopic主题时,它会输出异常,主题已经存在,下面是堆栈跟踪:
Error while executing topic command Topic "DummyTopic" already exists.
kafka.common.TopicExistsException: Topic "DummyTopic" already exists.
at kafka.admin.AdminUtils$.createOrUpdateTopicPartitionAssignmentPathInZK(AdminUtils.scala:248)
at kafka.admin.AdminUtils$.createTopic(AdminUtils.scala:233)
at kafka.admin.TopicCommand$.createTopic(TopicCommand.scala:92)
at kafka.admin.TopicCommand$.main(TopicCommand.scala:54)
at kafka.admin.TopicCommand.main(TopicCommand.scala)
请让我知道如何删除此主题.
我按照他们的网站安装了稳定版的kafka(0.8.1和2.9.2 Scala),并使用3节点zookeeper集合(3.4.6)运行它.我尝试创建一个测试主题,但一直看到没有为该主题的分区分配任何领导者:
[kafka_2.9.2-0.8.1]$ ./bin/kafka-topics.sh --zookeeper <zookeeper_ensemble> --describe --topic test-1
Topic:test-1 PartitionCount:1 ReplicationFactor:3 Configs:
Topic: test-1 Partition: 0 **Leader: none** Replicas: 0,1,2 **Isr:**
我试图使用控制台生成器写入主题,但遇到了LeaderNotAvailableException异常:
[kafka_2.9.2-0.8.1]$ ./kafka-console-producer.sh --broker-list <broker_list> --topic test-1
hello world
[2014-04-22 11:58:48,297] WARN Error while fetching metadata [{TopicMetadata for topic test-1 ->
No partition metadata for topic test-1 due to kafka.common.LeaderNotAvailableException}] for topic [test-1]: class kafka.common.LeaderNotAvailableException (kafka.producer.BrokerPartitionInfo)
[2014-04-22 11:58:48,321] WARN Error while fetching metadata [{TopicMetadata for topic test-1 ->
No partition metadata for topic test-1 due to kafka.common.LeaderNotAvailableException}] for …我最近开始学习Kafka并最终得到这些问题.
Consumer和Stream有什么区别？对我来说,如果任何工具/应用程序消费来自Kafka的消息是Kafka世界中的消费者.
流是如何不同的,因为这也消耗或产生消息给卡夫卡？为什么需要它,因为我们可以使用Consumer API编写我们自己的消费者应用程序并根据需要处理它们或将它们从消费者应用程序发送到Spark？
我对此做了谷歌,但没有得到任何好的答案.对不起,如果这个问题太琐碎了.
我之前没有任何使用*MQ的经验,而且我希望通常能够构建有关JMS和消息队列的知识.这样,我想知道我是应该从ActiveMQ开始,还是只是"忽略"它,然后开始自学阿波罗.Apollo是否像ActiveMQ一样功能齐全？它是否实现了JMS 2.0(我看到ActiveMQ卡在1.1中)？我会遗漏一些非常重要的东西吗？
另外,Kafka与这两种解决方案相比如何？