Spark API Doc展示了如何从发送到stdout的数据集或数据帧中获取漂亮的打印snippit.
这个输出可以定向到log4j记录器吗?或者:有人可以共享代码,这将创建与df.show()类似的输出格式吗?
有没有办法做到这一点,允许stdout在将.show()输出推送到记录器之前和之后都进入控制台?
http://spark.apache.org/docs/latest/sql-programming-guide.htm
val df = spark.read.json("examples/src/main/resources/people.json")
// Displays the content of the DataFrame to stdout
df.show()
// +----+-------+
// | age| name|
// +----+-------+
// |null|Michael|
// | 30| Andy|
// | 19| Justin|
// +----+-------+
Run Code Online (Sandbox Code Playgroud)