Pyspark：Delta 表作为流源，怎么做？

Question

我在 delta 表上的 readStream 中遇到问题。

什么是预期的，参考以下链接 https://docs.databricks.com/delta/delta-streaming.html#delta-table-as-a-stream-source Ex：

spark.readStream.format("delta").table("events")  -- As expected, should work fine

问题，我已经通过以下方式尝试了相同的方法：

df.write.format("delta").saveAsTable("deltatable")  -- Saved the Dataframe as a delta table

spark.readStream.format("delta").table("deltatable") -- Called readStream 

错误：

Traceback (most recent call last):
File "<input>", line 1, in <module>
AttributeError: 'DataStreamReader' object has no attribute 'table'

注意：我在 localhost 中运行它，使用 pycharm IDE，安装了最新版本的 pyspark，spark 版本 = 2.4.5，Scala 版本 2.11.12

Answer 1

立即尝试使用Delta Lake 0.7.0 版本，它提供了向 Hive 元存储注册表的支持。正如评论中提到的，大多数 Delta Lake 示例都使用文件夹路径，因为在此之前并未集成元存储支持。

另请注意，Delta Lake 的开源版本最好遵循https://docs.delta.io/latest/index.html上的文档