是否可以通过多个服务使用相同的Zookeeper实例?

154*_*12s 6 hadoop apache-kafka apache-storm apache-zookeeper

一个Zookeeper安装是否足以被Hadoop Kafka和Storm集群使用?我想在一个测试环境中部署所有测试环境并尝试使用这些技术,我可以使用一个zookeeper安装吗?相同的znode可以专用于多少服务?

Joh*_*one 7

是的,您可以使用单个zookeeper安装来支持多个群集以及不同类型的群集.这种情况已经存在了很长时间 - 这是2009年对其进行良好讨论的链接:http://zookeeper-user.578899.n2.nabble.com/Multiple-ZK-clusters-or-a-single-共享簇td3277547.html

对于测试,这很好(甚至在一个ZK服务器上运行它).对于生产用途,尽管您至少需要一个3节点集群.你应该仔细考虑从一个集群中运行所有东西.

原因是,如果您从单个ZK群集中运行多个Hadoop,Storm和Kafka群集,那么一组服务器将成为所有分布式系统的单点故障.您可以使用3台以上的服务器来增强ZK设置(假设为7),以便它可以处理多个故障,但如果有人意外地将ZK关闭,那么所有分布式环境也会崩溃.

有些人认为,在系统之间进行更多隔离会让你感觉更好.我认为它因用例而异,但我要小心将所有鸡蛋放在一个ZK篮子里.