小编Tus*_*aar的帖子

从 Pyspark 中的数据帧插入或更新增量表

我当前有一个 pyspark 数据框,我最初使用下面的代码创建了一个增量表 -

df.write.format("delta").saveAsTable("events")
Run Code Online (Sandbox Code Playgroud)

现在,由于上面的数据框根据我的要求每天填充数据,因此为了将新记录附加到增量表中,我使用了以下语法 -

df.write.format("delta").mode("append").saveAsTable("events")
Run Code Online (Sandbox Code Playgroud)

现在我在数据块和集群中完成了这一切。我想知道如何在 python 中编写通用 pyspark 代码,如果增量表不存在,则创建增量表,如果增量表存在,则追加记录。我想做这件事,因为如果我将我的 python 包给某人,他们不会在其环境中具有相同的增量表,因此应该从代码动态创建它。

apache-spark pyspark delta-lake

9
推荐指数
1
解决办法
4万
查看次数

标签 统计

apache-spark ×1

delta-lake ×1

pyspark ×1