如何在控制台上写入具有特定大小/记录块的流数据？

Question

我需要通过 Spark Streaming 读取 CSV 文件，并将输出流写入具有特定行/大小块的控制台。

使用 Spark StreamingreadStream读取 CSV 并将writeStream其写入控制台。

val df: DataFrame = sparkSession.readStream
      .option("sep", ",")
      .schema(userSchema)
      .csv("path")


val res: StreamingQuery = df.writeStream
      .format("console")
      .start()

我希望所有 50000 行以 50 行为一组显示在控制台中，但我只得到 20 行，或者我需要设置一个要在控制台中显示的数字。

Answer 1

您可以通过在 writestream 上设置“ numRows ”属性来设置要显示的行数。

 df.writeStream
 .option("numRows",50)