等效于或替代Jupyter的Databricks display（）函数

Question

我正在将当前的DataBricks Spark笔记本迁移到Jupyter笔记本，DataBricks提供了方便，美观的display（data_frame）功能以可视化Spark数据帧和RDD，但是Jupyter没有直接等效的功能（我不确定，但我认为它是DataBricks的特定功能），我尝试过：

dataframe.show()

但这是它的文本版本，当您有很多列中断时，因此，我试图找到一种比display（）更好的呈现Spark数据帧的方法，而不是show（）函数。是否有与此等效或替代的方法？

Answer 1

当您使用 Jupyter 时，不要使用 df.show()，而是使用 myDF.limit(10).toPandas().head()。而且，有时，我们正在处理多个列，它会截断视图。所以只需将您的 Pandas 视图列配置设置为最大值。

# Alternative to Databricks display function.
import pandas as PD
pd.set_option('max_columns', None)

myDF.limit(10).toPandas().head()