相关疑难解决方法(0)

如何将Scala Spark Dataset.show重定向到log4j logger

Spark API Doc展示了如何从发送到stdout的数据集或数据帧中获取漂亮的打印snippit.

这个输出可以定向到log4j记录器吗?或者:有人可以共享代码,这将创建与df.show()类似的输出格式吗?

有没有办法做到这一点,允许stdout在将.show()输出推送到记录器之前和之后都进入控制台?

http://spark.apache.org/docs/latest/sql-programming-guide.htm

val df = spark.read.json("examples/src/main/resources/people.json")

// Displays the content of the DataFrame to stdout
df.show()
// +----+-------+
// | age|   name|
// +----+-------+
// |null|Michael|
// |  30|   Andy|
// |  19| Justin|
// +----+-------+
Run Code Online (Sandbox Code Playgroud)

logging scala dataset apache-spark

8
推荐指数
2
解决办法
2125
查看次数

标签 统计

apache-spark ×1

dataset ×1

logging ×1

scala ×1