如何在Spark Dataframe中显示完整列内容？

Question

我使用spark-csv将数据加载到DataFrame中.我想做一个简单的查询并显示内容:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

col似乎被截断了:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

如何显示列的完整内容？

Answer 1

results.show(20, false)不会截断.检查来源

Answer 2

如果你放results.show(false),结果不会被截断

Answer 3

其他解决方案都很好.如果这些是你的目标:

1. 没有截断列,
2. 没有丢失行,
3. 快和
4. 高效

这两行很有用......

    df.persist
    df.show(df.count, false) // in Scala or 'False' in Python

通过持久化,在执行程序中使用persist或cache维护临时基础数据框结构时,2执行程序操作(计数和显示)更快,更高效.查看有关persist和cache的更多信息.

Answer 4

下面的代码将有助于在每列中查看所有行而不截断

df.show(df.count(), False)

Answer 5

在Pyspark中我们可以使用

df.show(truncate=False) 这将显示列的完整内容而不截断。

df.show(5,truncate=False) 这将显示前五行的完整内容。

Answer 6

results.show(20, False)或者results.show(20, false) 取决于您是否在Java/Scala/Python上运行它

Answer 7

The following answer applies to a Spark Streaming application.

By setting the "truncate" option to false, you can tell the output sink to display the full column.

val query = out.writeStream
          .outputMode(OutputMode.Update())
          .format("console")
          .option("truncate", false)
          .trigger(Trigger.ProcessingTime("5 seconds"))
          .start()

Answer 8

在 Spark Pythonic 方式中，请记住：

• 如果您必须显示数据框中的数据，请使用show(truncate=False)方法。
• 否则，如果您必须显示来自流数据帧视图（结构化流）的数据，请使用writeStream.format("console").option("truncate", False).start()带有选项的方法。

希望它可以帮助别人。