将 DataFrame 从 Azure Databricks 笔记本写入 Azure DataLake Gen2 表

Question

我创建了一个 DataFrame，我想将其写入/导出到表中的 Azure DataLake Gen2 旁边（需要为此创建新表）。

将来我还需要使用新的 DataFrame 更新此 Azure DL Gen2 表。

在 Azure Databricks 中，我创建了一个连接 Azure Databricks -> Azure DataLake 来查看我的文件：

感谢如何在 Spark / pyspark 中编写它的帮助。

谢谢你！

Answer 1

我建议不要以 parquet 格式写入数据，而是选择 Delta 格式，它内部使用 Parquet 格式，但提供其他功能，如 ACID 事务。语法是

df.write.format("delta").save(path)