小编Ata*_*jee的帖子

我想使用 Pyspark API 将结构流数据写入 Cassandra。

我的数据流如下：

Nifi -> Kafka -> Spark Structure Streaming -> Cassandra

我尝试过以下方式：

query = df.writeStream\
  .format("org.apache.spark.sql.cassandra")\
  .option("keyspace", "demo")\
  .option("table", "test")\
  .start()

但是收到以下错误消息：“org.apache.spark.sql.cassandra”不支持流式写入。

我尝试过的另一种方法：[来源- DSE 6.0 管理员指南]

query = df.writeStream\
   .cassandraFormat("test", "demo")\
   .start()

但有异常：AttributeError: 'DataStreamWriter' object has no attribute 'cassandraFormat'

任何人都可以给我一些想法如何进一步进行？

提前致谢。