标签: azure-data-factory-2

对于每个具有存储过程 (SP) 的活动，我都有一个，其中我显然使用 item() 输入值。

现在假设 SP 的输入值为 item().a、item().b 和 item().c

问题：对于foreach的一些迭代，item().b不存在，这是预期的。那么我应该如何在存储过程中处理它呢？因为此时它在执行 SP 时给我一个错误：

"模板语言表达式 'item().b' 无法计算，因为属性 'b' 不存在，可用属性为 'a, c'

或者我应该如何克服数据工厂中的这种故障？

显然，数据工厂检查了empty()，但没有检查exist()。

我们的要求是从 Blob 存储中获取数据并转换为其他表格形式。这可以通过使用 polybase 的 Sql DW 来实现。在这种情况下，Azure 数据工厂的真正作用是什么？

我知道 Azure 数据工厂可以达到同样的目标。但是，带有 Polybase 的 Azure DW 难道不是最简单且具有成本效益的选择吗？

ADF 管道和 ADF 数据流有什么区别？为什么管道和数据流中支持的接收器/源不同？是否可以创建一个管道来从源读取数据、过滤、使用连接并将数据存储到没有数据流的接收器？请告诉我。

我有一个场景，我需要在 Google Big Query 中连接 Azure 数据工厂 (v2) 以将数据移动到我的 Azure Data Lake，但我不工作。

当我创建一个链接服务时，我选择 Big Query 作为源，我把关于 BigQuery 的所有信息，作为项目名称，连接类型等，但是当我点击 Validade 按钮时，会为我显示一条消息：（例如）。 ..

UserError: ERROR [28000] [Microsoft][BigQuery] (80) Authentication failed: invalid_grant ERROR [28000] [Microsoft][BigQuery] (80) Authentication failed: invalid_grant'Type=,Message=ERROR [28000] [Microsoft][ BigQuery] (80) 身份验证失败：invalid_grant ERROR [28000] [Microsoft][BigQuery] (80) 身份验证失败：invalid_grant,Source=,', activityId: 05ff5ce1-5262-4794-853c-c9e39b7f4b71

任何的想法？有人已经测试过这个连接器了吗？

Tks。彼得·博诺莫

我一直在努力让数据工厂部署通过VSTS工作,我主要在那里工作,但由于触发器需要被禁用而被覆盖,我才会失败.错误信息如下:

Remove-AzureRmDataFactoryV2Trigger : HTTP Status Code: BadRequest
Error Code: TriggerEnabledCannotUpdate
Error Message: Cannot update enabled Trigger; it needs to be disabled first.
Request Id: <id number here>
Timestamp (Utc):06/17/2018 21:31:49
At line:1 char:1
+ Remove-AzureRmDataFactoryV2Trigger -ResourceGroupName "ResourceGroupName" -Data ...
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : CloseError: (:) [Remove-AzureRmDataFactoryV2Trigger], ErrorResponseException
    + FullyQualifiedErrorId : Microsoft.Azure.Commands.DataFactoryV2.RemoveAzureDataFactoryTriggerCommand

尝试执行直接部署时,以及手动运行PowerShell脚本以删除触发器时,我都会收到此错误

Remove-AzureRmDataFactoryV2Trigger -ResourceGroupName "ResourceGroupName" -DataFactoryName "DataFactoryName" -Name "TriggerName"

我找不到通过PowerShell或在发布期间禁用触发器的方法.任何人都可以帮我找到解决方法吗？没有它,我无法与数据工厂进行持续集成发布.

谢谢

任何人都可以帮助我使用 Databricks 和 Azure 功能吗？我正在尝试将数据块 JSON 输出传递给 ADF 作业中的 azure 函数体，这可能吗？如果是，如何？如果否，还有什么其他替代方法可以做同样的事情？

我的 ADF 管道调用 Azure 函数（用 Java 编写）。

但是，管道失败并显示以下消息：

Response Content is not a valid JObject.

我四处寻找，但似乎无法在 Java 中找到 JObject 的任何示例。

任何人都可以启发我如何做到这一点？

我有带有嵌套元素的复杂 XML 文件。我构建了一个过程来处理使用 SSIS 和 T-SQL。我们使用 Azure 数据工厂，我想探索将 XML 文件转换为 JSON 或 CSV，因为 ADF 支持这些文件，而 XML 不支持。

看来逻辑应用程序是一种选择。有没有人在使用 XML 并在管道内进行转换方面有其他运气？

当前工作流程：从文件夹中提取 XML 文件，放到网络驱动器上，将 XML 批量插入到暂存行中，将 XML 解析为各种 SQL 表进行分析。

样本：

<HEADER>
<SurveyID> 1234 </SURVEYID>
  <RESPONSES>
      <VAR>Question1</VAR>
      <VALUE>Answer1</VALUE>
  </RESPONSES>
  <RESPONSES>
      <VAR>Question2</VAR>
      <VALUE>Answer2</VALUE>
  </RESPONSES>
<SurveyID> 1234 </SURVEYID>
 <RESPONSES>
      <VAR>Question1</VAR>
      <VALUE>DifferentAnswer</VALUE>
  </RESPONSES>
</HEADER>

注意：我不需要知道如何解析 XML，这就完成了。我也知道您可以在 ADF 中执行 SSIS。我正在寻找整个过程的替代方案。

在数据工厂中，我们可以将“设置变量”活动的输出记录为 json 文件吗？

我有一个数据工厂管道，我想遍历 SQL 查找活动的行。我已将查询范围缩小到三列和 500 行。

我知道要引用我使用的表中的值：

@{activity('lookupActivity').output.value[row#].colname}

但是， for each 需要有一些东西可以迭代。我的第一个猜测是将一些数组变量设置为返回的 sql 查询的行。那么我将该变量设置为什么？

@{activity('lookupActivity').output.value?

最后，看起来几乎所有数据在 ADF 中都表示为 json，这是真的吗？我如何将这个查找的输出视为一个 json，以便我可以理解我的动态内容需要是什么样的？