汇聚架构注册表群集模式

vij*_*jju 5 apache-kafka confluent

我正在使用来自Confluent的Kafka Connect来使用Kafka流并以镶木地板格式写入HDFS.我在1节点中使用Schema Registry服务,它运行正常.现在我想将Schema Registry分发到集群模式以处理故障转移.任何关于如何实现这一点的链接或片段都非常有用.

Gwe*_*ira 6

这是很难找到,但我们讨论我们的文档在这个架构: http://docs.confluent.io/3.0.0/schema-registry/docs/deployment.html#multi-dc-setup

从文档中引用一下(虽然你应该阅读文档,但是包含了很多好的架构建议和恢复版本):

假设您运行了Schema Registry,以下是在新的"slave"数据中心中添加Schema Registry实例的建议步骤(称之为DC B):

在DC B中,确保Kafka将unclean.leader.election.enable设置为false.在DC B中的Kafka中,创建_schemas主题.它应该有1个分区,kafkastore.topic.replication.factor为3,min.insync.replicas至少为2.在DC B中,在"主"数据中心中将Kafka作为源运行MirrorMaker,在DC B中运行Kafka作为目标.在DC B中的模式注册的配置文件,设置kafkastore.connection.url和schema.registry.zk.namespace匹配已经在运行的情况下,并设置master.eligibility为false.使用这些配置启动新的Schema Registry实例.

  • 啊,在这种情况下,只需安装两个模式注册表服务器并将它们指向同一个zookeeper路径.其中一人将自动成为领导者,另一人将成为追随者.您可以在ZooKeeper中的/<schema.registry.zk.namespace>/schema_registry_master路径中看到当前的领导者 (4认同)