spark2.xx 是否支持 delta 湖

Question

所以我试图使用 delta Lake 写 df_concat.write.format("delta").mode("overwrite").save("file") it gives me this error：

java.lang.NoClassDefFoundError: org/apache/spark/sql/connector/catalog/TableProvider 和 delta Lake doc 说更新到 spark3 所以只想确认我们是否可以在 spark2.xx 上运行 deltalake

Answer 1

您可以使用Delta 版本 0.6.1 - 支持 Spark 2.x 的最新版本。你至少需要有 Spark 2.4.2 才能运行它。只需使用 运行您的代码--packages io.delta:delta-core_2.11:0.6.1，或将其链接到应用程序