我们有 3 个 zk 节点集群和 7 个代理。现在我们必须创建一个主题并且必须为这个主题创建分区。
但是我没有找到任何公式来决定我应该为此主题创建多少分区。生产者的速率为 5k 条消息/秒，每条消息的大小为 130 字节。
提前致谢
我有一个3 zk节点集群。和7 个 kafka 代理节点。
因此，当我创建任何主题时，我可以使用命令行参数设置副本因子和分区数。
并且这些分区传播到所有 7__consumer_offsets个代理。但是有一个主题，即它是自动创建的，并且它只传播到 1 个代理（id=0）和 1 个复制。
我知道我可以更改配置文件中复制因子的默认编号。
但是，此主题仅复制到一个代理。那么可以更改哪些参数以将分区复制到所有代理。
我想在特定时间后从 Cassandra 集群中删除记录。那么我应该使用TTL还是手动删除呢？
有什么方法可以找到 kafka 消费者消费消息的速度吗？像 5000 条消息/秒
我有一张Cassandra表: -
create table test(imei text,dt_time timestamp, primary key(imei, dt_time)) WITH CLUSTERING ORDER BY (dt_time DESC);
Partition Key is: imei
Clustering Key is: dt_time
现在,我想在每个分区键中仅存储此表中的最新条目(按时间).假设我在表中插入条目,每个imei都会有单个条目
现在让我们说一个imei 98838377272 dt_time是2017-12-23 16.20.12现在对于相同的imei,如果dt_time像2017-12-23 15.20.00那么这个条目不应该插入那个Cassandra表中.
但是如果时间到了2017-12-23 17.20.00那么它应该得到插入,前一行应该被这个dt_time取代.