我们可以将 Databricks 输出传递到 ADF 作业中吗？

Question

任何人都可以帮助我使用 Databricks 和 Azure 功能吗？我正在尝试将数据块 JSON 输出传递给 ADF 作业中的 azure 函数体，这可能吗？如果是，如何？如果否，还有什么其他替代方法可以做同样的事情？

Answer 1

在笔记本中，您可以使用：

dbutils.notebook.exit(myReturnValueGoesHere) （如前所述）

然后在 ADF 中，JSON 是一个位于 output.runOutput 上的对象，因此@activity('RunNotebookActivityName').output.runOutput.

如果你回来：

dbutils.notebook.exit('{"hello": {"some": {"object": "value"}}}')

您可以使用以下方法在 ADF 中阅读：

@activity('RunNotebookActivityName').output.runOutput.hello.some.object

酷嘿？

有关您可以执行的操作的完整列表，请参阅：

编辑

Answer 2

在 Azure Databricks 中，有一种方法可以在退出时返回值。dbutils.notebook.exit(myReturnValueGoesHere)

在 Azure 数据工厂 V2 中，DatabricksNotebook 活动输出包含 3 个字段的 JSON： "runPageUrl" ，这是一个用于查看运行输出的 URL。" effectiveIntegrationRuntime" ，其中代码正在执行 "executionDuration"

如果您使用上面的 dbutils 调用，第四个字段将出现在输出 JSON“runOutput”中，其中显示“myReturnValueGoesHere”。

如果您不使用上述 dbutils 调用，则可以从 runPageUrl 中抓取信息。