如何在没有Confluent的情况下使用Kafka Connect for Cassandra

Question

我们如何在不使用Confluent框架的情况下使用Kafka Connect和Cassandra.

Answer 1

Kafka Connect 是框架.汇流仅提供连接器.如果您不想使用Confluent Open Source(但为什么不使用？),您也可以使用所有这些连接器与vanilla Apache Kafka.

有多个Casandra连接器可用:https://www.confluent.io/product/connectors/

顺便说一句:Confluent中没有列出任何列出的Casandra连接器.

当然,您也可以编写自己的连接器或使用任何其他第三方连接器.

Answer 2

所述DataMountaineer流反应器具有可以与卡夫卡连接一起使用的卡桑德拉源库溶液。

将 jar 文件（下载）放入 Kafka libs 文件夹，然后按如下方式指定您的连接器：

{
"name": "cassandra-NAME",
"config": {
    "tasks.max": "1",
    "connector.class": "com.datamountaineer.streamreactor.connect.cassandra.source.CassandraSourceConnector",
    "connect.cassandra.key.space": "KEYSPACE",
    "connect.cassandra.source.kcql": "INSERT INTO KAFKA_TOPIC SELECT column1, timestamp_col FROM CASSANDRA_TABLE PK timestamp_col",
    "connect.cassandra.import.mode": "incremental",
    "connect.cassandra.contact.points": "localhost",
    "connect.cassandra.port": 9042,
    "connect.cassandra.import.poll.interval": 10000
}}

启动卡夫卡连接

bin/connect-distributed.sh config/connect-distributed.properties

并通过上面提到的 JSON 属性文件将 Cassandra 连接器加载到 Kafka Connect（假设它的名称为 connect-cassandra-source.json）

curl -X POST -H "Content-Type: application/json" -d @config/connect-cassandra-source.json localhost:8083/connectors

您将需要创建一个将 timeuuid 列作为集群键的表。这是描述here。