标签: azure-data-factory

在Azure数据工厂管道中,我可以使用两个SINK进行复制活动吗？我有一个源和2个接收器(一个Azure Data Lake存储库用于下游处理,另一个用于Blob存储存档).

V2 复制活动中是否有办法使用表达式对输入列（字符串类型）之一进行操作？在将行加载到目的地之前，我需要限制列中的字符数。

我的希望是简单地从这样的事情切换：

"ColumnMappings": "inColumn: outColumn"

像这样：

"ColumnMappings": "@substring(inColumn, 1, 300): outColumn"

如果有人可以指出我可以在哪里阅读有关何时可以使用字符串表达式的信息，我可以使用该指南。

我试图将数据从json文件复制到数据库.数据库上有两列需要使用相同的json字段填充.但是,如果我执行此映射,运行活动时会出错:An item with the same key has already been added.是不是可以做一对多的映射？

以下是工作：

responses/desc/50000/1/1525756206/json?X-apikey=542c0603951a208c4be688002d36f48808c40116174

但不是这个：

responses/desc/50000/1/@{formatDateTime(adddays(utcnow(), -6), '%a %b %d %H:%M:%S +0000 %Y')}/json?X-apikey=542c0603951a208c4be688002d3c40116174

即使这不起作用：

responses/desc/50000/1/@{formatDateTime(adddays(utcnow(), -6), '%s')}/json?X-apikey=542c0603951a208c4be688002d3c40116174

所以它是 @{formatDateTime(adddays(utcnow(), -6), '%a %b %d %H:%M:%S +0000 %Y')} vs 1525756206 vs @{formatDateTime(adddays(utcnow(), -6), '%s')}

有人可以帮我吗？我已经被困在这里几天了。如何在数据工厂中计算或使用秒数？

基本上，当我使用时@{formatDateTime(adddays(utcnow(), -6), '%a %b %d %H:%M:%S +0000 %Y')}，它只是忽略 URL 中的过滤器/标签。

我们正在尝试将数据从本地 SQL Server 复制到 Azure Blob 存储。但我们面临以下错误：

活动 Copy_741 失败：“接收器”端发生故障。ErrorCode=UserErrorJreNotFound，'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException，Message=找不到 Java 运行时环境。，Source=Microsoft.DataTransfer.Common，''Type=System.DllNotFoundException，Message=无法加载 DLL “jvm.dll”：找不到指定的模块。（HRESULT 异常：0x8007007E），Source=Microsoft.DataTransfer.Richfile.HiveOrcBridge，'

在其他一些帖子中，我们发现需要在 Integration Runtime 节点上安装 Microsoft Visual C++ 2010 Redistributable Package，但最新版本已经安装。

我们正在使用 Azure 数据工厂 v2。此外，我们能够毫无问题地将数据从 Azure SQL Server 传输到 Blob

因此，在 Azure 数据工厂中，对于管道，我设置了一个 HTTP 对象，用于从 API 复制数据，它使用基本密码和用户名。现在 API 使用不记名令牌来授权调用。我已经能够用 Python 编写解决方案，但我真的不知道如何在复制步骤中让 Azure 处理此身份验证过程。

有没有办法提前调用承载令牌，然后将其作为 HTTP 链接服务密码的一部分传递？

Python脚本：

import http.client

conn = http.client.HTTPSConnection("www.url.com")

headers = {
    'authorization': "Basic [removed]",
    'cache-control': "no-cache",
    }
conn.request("GET", "/v1/oauth2/accesstoken?grant_type=client_credentials", headers=headers)
res = conn.getresponse()
data = res.read()

import json
datajson = json.loads(data.decode("utf-8"))
headers = {
    'authorization': "Bearer " + datajson["access_token"],
    'cache-control': "no-cache",
    }

conn.request("GET", "/data?data-date=2018-12-09", headers=headers)

res = conn.getresponse()
data = res.read()

print(data.decode("utf-8"))

我在 azure 数据工厂管道中创建了一项 Web 活动，该活动只有一个标头，并且我必须传递 POST 请求的正文。我尝试过将正文作为 JSON 和字符串传递，但请求因“无效查询”而失败。谁能告诉我如何从 azure 数据管道发送带有附加标头和正文的 POST 请求。我有多个键值对要传递给正文。检查网络活动的屏幕截图

创建 REST 数据集是否存在一些问题或已知错误？从上周开始我就无法创建了，屏幕就冻结了，什么也没做。

我已经在过去创建了几个 REST 数据集，并且它们工作得很好，所以这个问题是新的。

我正在尝试将 ADF 自托管集成运行时配置为与同一 RG 中的另一个 ADF 共享。我收到以下错误：

（我删除了 id 细节）

向 [Object-ID] 授予权限时发生错误。错误：{“error”：{“code”：“AuthorizationFailed”，“message”：“对象 ID [object-id] 的客户端 [My-Username] 无权执行操作 'Microsoft.Authorization/roleAssignments/写入“覆盖范围”/subscriptions/[object-id]/resourcegroups/DataEngineering-RG/providers/Microsoft.DataFactory/factories/[数据工厂名称]/integrationRuntimes/[IR-Name]/providers/Microsoft.Authorization/roleAssignments/ [角色对象 ID]' 或范围无效。如果最近授予了访问权限，请刷新您的凭据。"}}

问题 - 我需要什么角色才能执行此操作以及需要在什么级别授予该访问权限（例如订阅级别、RG 级别、ADF 级别）？

注意：我当前拥有 Azure 数据工厂贡献者级别访问权限。

提前致谢

对于 Azure，我是一个完全的初学者，但我按照不同的指南创建了一个数据工厂，无论我使用哪个指南，我都无法在 Author & Monitor 下的 Factory 资源选项卡中看到连接或触发器。我一定遗漏了一些微不足道的东西，而且我找不到与我有同样问题的人。

我所看到的

我缺少什么

我显然不知道为什么他们没有出现在左下角，有没有足够聪明的人来帮助我？