小编ski*_*esh的帖子

我需要通过 Spark Streaming 读取 CSV 文件，并将输出流写入具有特定行/大小块的控制台。

使用 Spark StreamingreadStream读取 CSV 并将writeStream其写入控制台。

val df: DataFrame = sparkSession.readStream
      .option("sep", ",")
      .schema(userSchema)
      .csv("path")


val res: StreamingQuery = df.writeStream
      .format("console")
      .start()

我希望所有 50000 行以 50 行为一组显示在控制台中，但我只得到 20 行，或者我需要设置一个要在控制台中显示的数字。