如何在控制台中 writeStream 数据帧？（Scala Spark 流）

Question

我想调试我的笔记本，因此我需要在笔记本控制台模式下打印流数据。我有两个问题： 1-是否可以这样做：

df.writeStream.format("console").start().awaitTermination()

2-如果是，我在哪里可以看到输出？

这是 10 分钟后的结果...没有错误或结果

谢谢！

Answer 1

我弄清楚了我的案例的问题所在。我必须在我的方法中添加“.outputMode(“append”)”。它看起来是这样的：

def writeStreamData(dataFrame: DataFrame): Unit = {
        /**
         * write the given dataframe into a file or console
         :params: dataframe
         */
        dataFrame.writeStream
            .format("console")
            .outputMode("append")
            .start()
            .awaitTermination()
    }