尝试为 spark 数据流 writeStream 函数创建一个测试,如下所示:
SparkSession spark = SparkSession.builder().master("local").appName("spark
session").getOrCreate()
val lakeDF = spark.createDF(List(("hi")), List(("word", StringType, true)))
lakeDF.writeStream
.trigger(Trigger.Once)
.format("parquet")
.option("checkpointLocation", checkpointPath)
.start(dataPath)
Run Code Online (Sandbox Code Playgroud)
但我收到以下异常: org.apache.spark.sql.AnalysisException: 'writeStream' can be called only on streaming Dataset/DataFrame;
我对火花流很陌生,请让我知道如何为我的测试套件创建流数据帧/将上述常规数据帧转换为流数据帧。