一个话题通常居住内的经纪人(服务器进程),并有多个分区,但在多个经纪或节点(机器),它可以跨越?
即,可以说一个主题分为两个分区,分区1和分区2。分区1可以属于同一主题的代理1,分区2可以完全属于不同的代理2或不同的节点吗?
是的,主题的不同分区可以存储在多台计算机中。但是,单个分区必须完全存储在一台计算机中。
小智 6
一个Kafka群集由一个或多个服务器(Kafka代理)组成。
每个经纪人可以具有一个或多个主题。Kafka主题分为多个分区,每个分区可以放置在单个或单独的计算机上,以允许多个使用者并行读取主题。
Kafka Broker顾名思义,它是一种接收请求并执行特定操作的控制器或服务器。例如,Kafka 代理从生产者接收消息并将它们存储在由唯一偏移量键控的磁盘上。代理可以根据请求将主题、分区和偏移量中的唯一消息响应给消费者
\n每当我们想到 Kafka Broker 时,它都不是一个单元,而是一组使用 ZooKeeper 共享信息的服务器。Kafka Brokers 并不位于一台机器上,而是能够跨分布式集群环境进行分发。这组broker部署在由Zookeeper协调的Cluster上,可以可视化为Kafka集群。\nBroker 是 Kafka Cluster 的核心,也是它与消费者、生产者、汇合连接器等外部词语的连接器。
\nKafka Topic 由分布在 Broker 上的多个分区组成。一个分区可以被视为领导者,其他分区将成为跟随者,并且在其他代理中,消息可以使用 ISR 进行复制。
\n您可以使用重新分配分区工具来分配领导分区,您可以参考下面的链接了解更多详细信息
\n\n\nhttps://cwiki.apache.org/confluence/display/KAFKA/Replication+tools
\n
| 归档时间: |
|
| 查看次数: |
5192 次 |
| 最近记录: |