Databricks SQL - 如何在第一次运行中获取所有行(超过 1000)?

Kri*_*riz 7 sql apache-spark-sql databricks

目前,在 Databricks 中,如果我们运行查询,它在第一次运行时总是返回 1000 行。如果我们需要所有行,我们需要再次执行查询。

在我们知道需要下载完整数据(1000+ 行)的情况下,是否有办法执行查询以在第一次运行时获取所有行而无需重新执行查询?

Kai*_*lor 4

下载按钮旁边应该有一个向下箭头,允许您下载完整结果。您在界面中看到了吗?(来源

下载按钮旁边的向下箭头。

  • 还是没有回答问题。奇怪的是,如果不执行两次查询,我们就无法获得完整的结果。 (7认同)
  • 我也有同样的问题。这比必须运行查询两次更糟糕。如果您使用 Databricks 生成图表,则无法在图表上显示超过 1000 行的数据(这让我摸不着头脑,为什么我的 sql 突然停止显示 2017 年以后的数据)。如果您使用外部工具进行可视化等,下载完整结果非常有帮助。 (4认同)
  • 我自己也面临同样的问题。不幸的是 - 我还没有找到内置的 databricks 解决方案,但如果您需要所有数据来绘制它,解决方法是使用 `toPandas` 方法将 Spark 数据帧转换为 pandas 数据并使用 pandas 内置绘图方法或者使用 matplotlib 或 seaborn 进行更复杂的绘图。 (3认同)