如何强制消费者读取kafka中的特定分区

Question

我有一个应用程序，用于从 1 个 Kafka 生产者生成的 URL 流中下载特定的 Web 内容。我创建了一个有 5 个分区的主题，并且有 5 个 kafka 消费者。但是，网页下载的超时时间为 60 秒。当其中一个 url 被下载时，服务器假定消息丢失并将数据重新发送给不同的消费者。

我已经尝试了中提到的所有内容

Kafka 消费者配置/性能问题

和

https://github.com/spring-projects/spring-kafka/issues/202

但我每次都会收到不同的错误。

是否可以将特定消费者与 kafka 中的分区联系起来？我正在为我的应用程序使用 kafka-python

Answer 1

我错过了 Kafka-python 的文档。我们可以使用 TopicPartition 类为一个特定的消费者分配一个分区。

http://kafka-python.readthedocs.io/en/master/

>>> # manually assign the partition list for the consumer
>>> from kafka import TopicPartition
>>> consumer = KafkaConsumer(bootstrap_servers='localhost:1234')
>>> consumer.assign([TopicPartition('foobar', 2)])
>>> msg = next(consumer)