使用 pyspark 时 PyCharm 中的 DataFrame 视图

Question

我创建了一个 pyspark 数据框，我想在调试代码时在 PyCharm 的 SciView 选项卡中看到它（就像我以前使用 Pandas 时所做的那样）。它说“没什么可显示的”（数据框存在，当我使用 show() 命令时我可以看到它）。

有人知道怎么做，或者在这种情况下 pycharm 和 pyspark 数据框之间可能没有集成？

Answer 1

Pycharm 不支持 spark 数据帧，您应该toPandas()在数据帧上调用该方法。正如@abhiieor 在评论中提到的，请注意您可能会收集大量数据，您应该首先limit()了解返回的行数。