相关疑难解决方法(0)

使用Kafka进行数据建模?主题和分区

在使用新服务(例如非RDBMS数据存储或消息队列)时,我想到的第一件事是:"我应该如何构建数据?".

我已经阅读并观看了一些介绍性材料.特别是,例如,采用Kafka:一种用于日志处理的分布式消息系统,它写道:

  • "主题是与消息相关联的容器"
  • "最小的并行单元是主题的分区.这意味着......属于某个主题的特定分区的所有消息都将被消费者组中的消费者使用."

知道这一点,什么是一个很好的例子来说明如何使用主题和分区?应该什么时候成为主题?什么时候应该是分区?

举个例子,假设我的(Clojure)数据如下:

{:user-id 101 :viewed "/page1.html" :at #inst "2013-04-12T23:20:50.22Z"}
{:user-id 102 :viewed "/page2.html" :at #inst "2013-04-12T23:20:55.50Z"}
Run Code Online (Sandbox Code Playgroud)

主题应该基于user-idviewedat?分区怎么样?

我该如何决定?

apache-kafka

160
推荐指数
4
解决办法
5万
查看次数

卡夫卡如何平行消费一个话题

我看过kafka文件,还不知道怎么消费一个主题并行?

假设:我有一个主题,如"发生了什么事"(不要拆分这个主题),我有很多客户想要使用它.那么我应该怎么做,以便多个客户可以并行使用它?我应该使用分区和客户组吗?

我对此有一个想法,但我不确定它是否正确.

针对同一主题制作多个分区,并为一个客户创建一个分区,因此一个生产者必须为这些分区生成相同的分区,并且不同客户组中的每个客户都是正确的?

apache-kafka

6
推荐指数
2
解决办法
9009
查看次数

标签 统计

apache-kafka ×2