我当前有一个 pyspark 数据框,我最初使用下面的代码创建了一个增量表 -
df.write.format("delta").saveAsTable("events")
Run Code Online (Sandbox Code Playgroud)
现在,由于上面的数据框根据我的要求每天填充数据,因此为了将新记录附加到增量表中,我使用了以下语法 -
df.write.format("delta").mode("append").saveAsTable("events")
Run Code Online (Sandbox Code Playgroud)
现在我在数据块和集群中完成了这一切。我想知道如何在 python 中编写通用 pyspark 代码,如果增量表不存在,则创建增量表,如果增量表存在,则追加记录。我想做这件事,因为如果我将我的 python 包给某人,他们不会在其环境中具有相同的增量表,因此应该从代码动态创建它。