如何将 spark 数据帧转换为 databrick koalas 数据帧？

Question

我知道您可以将 spark 数据帧df转换为 Pandas 数据帧

df.toPandas()

但是，这需要很长时间，所以我在 databricks 中发现了一个 koala 包，它可以让我将数据用作 Pandas 数据帧（例如，能够使用 scikit learn）而无需 Pandas 数据帧。我已经有了 spark 数据框，但是我找不到将它变成考拉数据框的方法。

Answer 1

要直接从 pyspark 数据框（我假设这就是您正在使用的）到考拉数据框，您可以使用：

koalas_df = ks.DataFrame(your_pyspark_df)

在这里，我将考拉导入为 ks。