通过多个作业并发更新 Delta Lake 表

Question

我有一个增量表，其中通过数据块的多个作业可以同时将数据合并/更新插入到增量表中。

我怎样才能防止得到ConcurrentAppendException？

我无法使用此解决方案，因为传入的更改可以是任何分区的一部分，并且我无法过滤任何分区。

有没有办法检查 Delta 表是否正在追加/合并/更新/删除，并等待其完成，然后我们获取锁并开始第二个作业的合并？

仅供参考，这是 2 个独立的 Azure Datafactory 作业，试图更新一个增量表。

干杯!

Answer 1

您应该像使用乐观离线锁定的任何其他数据存储一样处理对 Delta 的并发追加- 通过在发生特定异常时向您的代码添加特定于应用程序的重试逻辑。

这是一段关于Delta 内部运作的精彩视频。