小编Pin*_*est的帖子

我开始学习Kafka用于企业解决方案.

在我的阅读中,我想到了一些问题:

1. 当一个制作人正在制作一条消息时 - 它会指定它想要发送消息的主题,是吗？它关心分区吗？
2. 当订阅者正在运行时 - 它是否指定了其组ID,以便它可以是同一主题的消费者群集的一部分,或者是该群体消费者感兴趣的几个主题？

3. 每个消费者组在代理上是否有相应的分区,或者每个消费者都有一个分区？

4. 作为经纪人创建的分区,因此不关心消费者？

5. 由于这是一个每个分区都有一个偏移量的队列,因此消费者有责任指定它想要读取哪些消息吗？是否需要保存其状态？

6. 从队列中删除邮件时会发生什么？ - 例如:保留时间为3小时,然后时间过去了,两侧的偏移量如何处理？

我需要将 solr 数据导出到 EXCEL 或 CSV。我有包含数百万条记录的 SOLR 代码，我需要一种通过特定查询将它们导出到 CSV/EXCEL 的方法。另外我需要控制EXCEL里面的标题。

你有什么建议？是否有第 3 方 API 可以做到这一点？我应该使用 CSV 格式并提取它们然后操作 csv 吗？

我需要了解一些关于卡夫卡的事情：

1. 当我在一台主机上有一个 kafka 代理时，让它拥有多个主题分区是否有意义？我的意思是，即使我的数据可以通过某些密钥（例如租户 ID）来区分 - 在单个 kafka 代理上执行此操作有什么好处？这是否提供任何并行性，如果是的话如何？
2. 当使用密钥时，这是否意味着每个密钥都映射到给定的分区？主题的分区数量是否必须等于我指定的键的可能值的数量？或者这只是一个哈希，因此分区数量不必相等？
3. 据我所知，主题是根据 kafka 中放置的消息类型而创建的。但就我而言，我创建了 2 个主题，因为我有两种类型的消费：一种用于逐条阅读消息。第二个是在大量消息进入队列的情况下（应用程序原因），然后将其输入到第二个主题中。尽管消息类型相同，但这是一个好的设计吗？对于这种扫描还有其他做法吗？