小编Jac*_*aco的帖子

我有一个关于 Pyspark 写作的问题，我目前正在运行以下行：

sat_prospect_credentials.write.format("delta").mode("append").save(f"{TABLE_MAP[table]}")

它将 Spark DataFrame 以增量格式写入 Azure ADLS。我遇到以下问题，我有一个名为 end_date 的列，其中填充了 Null 值（这是故意的，因为这是用于 SCD 管理），但是，当我写入 DataLake 时，该列将被删除。有谁知道如何防止这种情况发生？

谢谢！

我尝试过 schemaOverwrite、mergeSchema 和其他选项。我不知道从这里开始如何跟进