相关疑难解决方法(0)

Spark Dataset.show()方法对于查看数据集的内容非常有用,特别是对于调试(它打印出格式良好的表).据我所知,它只打印到控制台,但能够将其作为一个字符串.例如,能够将其写入日志,或者在使用IntelliJ进行调试时将其视为表达式的结果会很好.

有没有办法得到Dataset.show()字符串的输出？

我想在pyspark中捕获show的结果，类似于此处和此处。我无法使用pyspark找到解决方案，只能使用scala。

df.show()
#+----+-------+
#| age|   name|
#+----+-------+
#|null|Michael|
#|  30|   Andy|
#|  19| Justin|
#+----+-------+

最终目的是将其捕获为logger.info 我尝试过的字符串logger.info(df.show())，仅在控制台上显示。