如何在 Strimzi 中使用 Kafka 连接

Question

我将 Kafka 与 strimzi 运算符一起使用，创建了一个 Kafka 集群，并使用 yml 文件部署了 Kafka 连接。但在此之后我完全空白下一步该做什么。我读到 Kafka connect 用于将数据从源复制到 Kafka 集群或从 Kafka 集群复制到另一个目的地。我想使用 Kafka connect 将数据从文件复制到 Kafka 集群的任何主题。任何人都可以帮助我，我该怎么做，我正在共享创建 Kafka 连接集群的 yml 文件。

apiVersion: kafka.strimzi.io/v1beta1

kind: KafkaConnect

metadata:

  name: my-connect-cluster

#  annotations:

#  # use-connector-resources configures this KafkaConnect

#  # to use KafkaConnector resources to avoid

#  # needing to call the Connect REST API directly

#    strimzi.io/use-connector-resources: "true"

spec:

  version: 2.6.0

  replicas: 1

  bootstrapServers: my-cluster-kafka-bootstrap:9093

  tls:

    trustedCertificates:

      - secretName: my-cluster-cluster-ca-cert

        certificate: ca.crt

  config:

    group.id: connect-cluster

    offset.storage.topic: connect-cluster-offsets

    config.storage.topic: connect-cluster-configs

    status.storage.topic: connect-cluster-status

@kubeclt 创建-f kafka-connect.yml -n strimzi

当 Kafka connect 的 pod 处于运行状态后，我不知道下一步该做什么。请帮我。

Answer 1

Kafka Connect公开了 REST API，因此您需要从 Connect Pod 公开该 HTTP 端点

我读到 Kafka connect 用于将数据从源复制到 Kafka 集群或从 Kafka 集群复制到另一个目的地。

这是一个应用程序，但听起来您想要MirrorMaker2来代替

如果您不想使用 REST API，请取消注释此行

#    strimzi.io/use-connector-resources: "true"

并使用另一个 YAML 文件来配置 Connect 资源，如 Debezium 所示。看kind: "KafkaConnector"