数据工厂 - 数据湖文件创建事件触发器触发两次

Question

我正在 Azure 数据工厂 V2 中开发管道。它有非常简单的复制活动。当文件添加到 Azure Data Lake Store Gen 2 时，管道必须启动。为了做到这一点，我在创建的 Blob 上创建了一个附加到 ADLS_gen2 的事件触发器。然后将触发器分配给管道并将触发器数据@triggerBody().fileName关联到管道参数。

为了测试这一点，我使用 Azure 存储资源管理器并将文件上传到数据湖。问题在于数据工厂中的触发器被触发两次，导致管道启动两次。第一个管道运行按预期完成，第二个管道仍在处理中。

有人遇到过这个问题吗？我尝试删除 DF 中的触发器并创建新触发器，但结果与新触发器相同。

Answer 1

我自己也有同样的问题。

将文件写入 ADLS v2 时，有一个初始 CreateFile 操作和 FlushWithClose 操作，它们都会触发 Microsoft.Storage.BlobCreated 事件类型。

https://learn.microsoft.com/en-us/azure/event-grid/event-schema-blob-storage

如果要确保仅在完全提交块 Blob 时触发 Microsoft.Storage.BlobCreated 事件，请筛选 FlushWithClose REST API 调用的事件。仅当数据完全提交到块 Blob 后，此 API 调用才会触发 Microsoft.Storage.BlobCreated 事件。

https://learn.microsoft.com/en-us/azure/event-grid/how-to-filter-events

可以通过导航到 Azure 门户中的事件订阅并选择正确的主题类型（存储帐户）以及订阅和位置来筛选 CreateFile 操作。完成后，您应该能够看到触发器并更新其上的过滤器设置。我删除了CreateFile。