Cassandra 作为 kafka 中的数据源/生产者

Question

如何将cassandra集成为apache Kafka中的数据生产者？

kafka config 有什么具体配置吗？

Answer 1

Cassandra Sink Connector 在Confluence Hub上可用，但 Cassandra Source 连接器不是由 kafka 提供的。 截至目前，Cassandra Source 连接器由landoop提供。

然而，Kafka 也提供了创建自定义连接器的选项。

您需要扩展SourceConnector连接器类并重写其方法。

public class CassandraSourceConnector extends SourceConnector {


    @Override
    public Class<? extends Task> getTaskClass() {
      return ImplementationClasName.class;
    }

    @Override
    public void start(Map<String, String> props) {
     // Properties
    }

    @Override
    public void stop() {
      // Nothing to do since no background monitoring is required
    }

您可以在https://docs.confluence.io/current/connect/devguide.html找到完整信息

创建 cassandra 源连接器类后，您还需要配置它，这可以像Cassandra Sink Connector一样完成。

截至目前，Landoop Cassandra Source 连接器仅适用于 kafka 1.0 和 kafka 1.1。我建议您创建自己的连接器。您还可以访问此博客以获取信息。

希望，对您有帮助。