Zookeeper 总体数据大小限制

Question

我是 Zookeeper 的新手，试图了解它是否适​​合我的用例。

我有1000万条分层数据，我想将其存储在Zookeeper中。

10M 键值对，键和值的大小各为 1KB。

因此，在没有复制的情况下，总数据大小约为 ~20GB (10M * 2KB)。

我知道 zNodes 数据大小限制是 1MB（可以更改）。

问题：

1. Zookeeper是否能够支持20GB的数据，并且对性能没有影响。

2. 是否存在最大大小之后性能会下降？

3. 节点总数有限制吗？

Answer 1

Zookeeper 绝对不适合这种用例。Zookeeper 会定期转储/快照数据树，这意味着它将每隔几分钟转储全部 20 GB 数据。此外，集群/集合中的 Zookeeper 节点更像是彼此的副本，因此整个数据被复制到每个 Zookeeper 节点，因此也没有数据分区。Zookeeper 不是数据库。

我想对于你的用例，使用一些数据库或一些分布式缓存（Redis/Hazelcast 等）会更好。无论如何，Zookeeper 上的节点总数没有限制。