小编Ser*_*cio的帖子

分布式 Kafka Connect 应该部署在 Azure Kafka 的哪些节点上以实现 HD Insight?

我们在本地运行大量连接器,需要转到 Azure。这些本地计算机在 4 个节点上运行 Kafka Connect API。我们部署此 API 在所有这些机器上执行此操作:

导出 CLASSPATH=/path/to/connectors-jars

/usr/hdp/current/kafka-broker/bin/connect-distributed.shdistributed.properties

我们在 Azure Kafka 上部署了 Kafka 以实现 HD Insight。我们需要至少 2 个节点运行分布式 Connect API,但我们不知道将它们部署在哪里:

  • 在头节点上(我们仍然不知道它们的用途)
  • 在工作节点上(kafka 经纪人所在的位置)
  • 在边缘节点上

我们还有 Azure AKS 运行容器。我们应该在 AKS 上部署分布式 Connect API 吗?

azure apache-kafka apache-kafka-connect

5
推荐指数
1
解决办法
429
查看次数

标签 统计

apache-kafka ×1

apache-kafka-connect ×1

azure ×1