小编Dhr*_*jee的帖子

例外:“writeStream”只能在流式数据集/数据帧上调用

尝试为 spark 数据流 writeStream 函数创建一个测试,如下所示:

SparkSession spark = SparkSession.builder().master("local").appName("spark 
session").getOrCreate()

val lakeDF = spark.createDF(List(("hi")), List(("word", StringType, true)))

lakeDF.writeStream
  .trigger(Trigger.Once)
  .format("parquet")
  .option("checkpointLocation", checkpointPath)
  .start(dataPath)
Run Code Online (Sandbox Code Playgroud)

但我收到以下异常: org.apache.spark.sql.AnalysisException: 'writeStream' can be called only on streaming Dataset/DataFrame;

我对火花流很陌生,请让我知道如何为我的测试套件创建流数据帧/将上述常规数据帧转换为流数据帧。

scala apache-spark spark-streaming

7
推荐指数
2
解决办法
6219
查看次数

标签 统计

apache-spark ×1

scala ×1

spark-streaming ×1