Pyspark：在 Jupyter Notebook 中触发数据框列宽配置

Question

我在 Jupyter Notebook 中有以下代码：

import pandas as pd
pd.set_option('display.max_colwidth', 80)
my_df.select('field_1','field_2').show()

我想增加列的宽度，所以我能看到的全部价值field_1和field_2。我知道我们可以 pd.set_option('display.max_colwidth', 80)用于 Pandas 数据框，但它似乎不适用于 spark 数据框。

有没有办法像我们为熊猫数据框所做的那样增加火花数据框的列宽？谢谢！

Answer 1

我认为您不能设置特定的宽度，但这将确保您的数据无论大小都不会被截断

my_df.select('field_1','field_2').show(10, truncate = False)