如何使用 pyspark 在 jupyter 笔记本中引用 deltalake 表

Question

我正在尝试开始使用DeltaLakesusing Pyspark.

\n\n

为了能够使用 deltalake，我在 Anaconda shell-prompt 上调用 pyspark 作为 \xe2\x80\x94

\n\n

pyspark \xe2\x80\x94 packages io.delta:delta-core_2.11:0.3.0\n

\n\n

这是来自 deltalake \xe2\x80\x94 https://docs.delta.io/latest/quick-start.html的参考

\n\n

Delta Lake 的所有命令都可以在 Anaconda shell 提示符下正常工作。

\n\n

在 jupyter 笔记本上，引用 deltalake 表会出现错误。这是我在 Jupyter 笔记本上运行的代码 -

\n\n

df_advisorMetrics.write.mode("overwrite").format("delta").save("/DeltaLake/METRICS_F_DELTA")\nspark.sql("create table METRICS_F_DELTA using delta location \'/DeltaLake/METRICS_F_DELTA\'")\n

\n\n

下面是我在笔记本开始时使用的连接到 pyspark 的代码 -

\n\n

import findspark\nfindspark.init()\nfindspark.find()\n\nimport pyspark\nfindspark.find()\n

\n\n

下面是我得到的错误：

\n\n

\n

Py4JJavaError：调用 o116.save 时发生错误。\n：java.lang.ClassNotFoundException：找不到数据源：delta。请在http://spark.apache.org/third-party-projects.html找到软件包

\n

\n\n

有什么建议么？

\n

Answer 1

我创建了一个 Google Colab/Jupyter Notebook 示例，展示了如何运行 Delta Lake。

https://github.com/prasannakumar2012/spark_experiments/blob/master/examples/Delta_Lake.ipynb

它具有运行所需的所有步骤。这使用最新的 Spark 和 Delta 版本。请相应地更改版本。