Databricks 仅打印大约 280 行数据

Question

我正在 Databricks 中运行一些大型作业，目前包括清点数据湖。我正在尝试打印前缀（子文件夹）内的所有 blob 名称。这些子文件夹中有很多文件，我打印了大约 280 行文件名，但后来我看到了：*** WARNING: skipped 494256 bytes of output *** 然后，我又打印了 280 行。

我猜有一个控件可以改变这一点，对吧。我当然希望如此。这旨在处理大数据，而不是 ~280 条记录。我知道庞大的数据集很容易使浏览器崩溃，但很常见，这基本上没什么。

Answer 1

您可以检查 driver\xe2\x80\x99s 日志中的所有打印值

\n

\n

\n

\n

Answer 2

经过更多研究后，我偶然发现了一些对我有用的东西。

此外，这将显示数据框的内容，

display(df)

因此，这将生成您在上面直接看到的视图。