标签: azure-data-factory

我正在尝试在数据工厂中创建文件系统链接服务，以便使用自托管集成运行时访问文件夹 (\\serverName\c$\folder)，即使我插入了具有“完全控制”权限的用户在此特定文件夹上，当我测试连接时，它返回以下错误消息：

请考虑我用正确的服务器名称更改了“serverName”，该名称与我安装 IR 的名称相同。

属性“”的值无效：“对 serverName 的访问被拒绝，解析的 IP 地址为 ::1，网络类型为 OnPremise”。对 serverName 的访问被拒绝，解析的 IP 地址为 ::1，网络类型为 OnPremise

真正让我担心的是这条消息说“属性''无效”，我该如何解决这个问题？

提前致谢。

每当我尝试从ADF删除任何管道时,我收到以下错误消息:

The scope '/subscriptions/<subscription_id>/resourcegroups/<RGName>/providers/Microsoft.DataFactory/datafactories/<ADF_Name>/datapipelines/HivePipe' 
cannot perform delete operation 
because following scope(s) are locked: '/subscriptions/<subscription_id>/resourceGroups/<Name of Resource Group>'. 
Please remove the lock and try again.

任何人都可以指导我如何使用Azure门户删除不需要的管道？

我在“文件格式设置”步骤中的Azure 数据工厂“复制数据”工具（当前处于预览版）中看到以下错误：

处理请求时出错：列：SystemProperties，位置：源，格式：Avro，Avro 格式目前不支持数据类型“System.Collections.Generic.Dictionary`2[System.String,System.Object]”。活动 ID：0aa778ad-b496-46c1-8de4-97b4f4169be2

源文件采用 Avro 格式，由Azure Event Hubs Archive生成。当我选择 Avro 格式并选择 blob 中的任何 avro 文件时，当该工具尝试确定架构时，我会收到上述错误。我不知道这是复制数据工具的问题还是事件中心存档输出的文件格式的问题。

有没有人遇到过这个问题或关于我如何进一步调查的任何想法？

我有一个场景，我需要在 Google Big Query 中连接 Azure 数据工厂 (v2) 以将数据移动到我的 Azure Data Lake，但我不工作。

当我创建一个链接服务时，我选择 Big Query 作为源，我把关于 BigQuery 的所有信息，作为项目名称，连接类型等，但是当我点击 Validade 按钮时，会为我显示一条消息：（例如）。 ..

UserError: ERROR [28000] [Microsoft][BigQuery] (80) Authentication failed: invalid_grant ERROR [28000] [Microsoft][BigQuery] (80) Authentication failed: invalid_grant'Type=,Message=ERROR [28000] [Microsoft][ BigQuery] (80) 身份验证失败：invalid_grant ERROR [28000] [Microsoft][BigQuery] (80) 身份验证失败：invalid_grant,Source=,', activityId: 05ff5ce1-5262-4794-853c-c9e39b7f4b71

任何的想法？有人已经测试过这个连接器了吗？

Tks。彼得·博诺莫

我正在探索Azure Data Lake,我是这个领域的新手.我探索了很多东西并阅读了很多文章.基本上我必须从不同来源的数据开发Power BI仪表板.

在经典的SQL Server堆栈中,我可以编写一个ETL(提取,转换,加载)过程,将数据从我的系统数据库带入数据仓库数据库.然后使用SSAS等将该数据仓库与Power BI一起使用.

但我想使用Azure Data Lake,我探索了Azure Data Lake Store和Azure Data Lake Analytic(U-SQL).我画了以下架构图.

1. 在当前的应用程序流程中是否有任何我遗漏的东西？
2. 我可以使用Power BI直接从Azure Data Lake获取数据,因此不需要数据仓库.我对吗？
3. 我可以在Azure Data Lake中创建一个数据库,那将是我的数据仓库吗？
4. Azure Data Lake中原始文件的输出数据的最佳格式是什么,例如.csv？

我一直在努力让数据工厂部署通过VSTS工作,我主要在那里工作,但由于触发器需要被禁用而被覆盖,我才会失败.错误信息如下:

Remove-AzureRmDataFactoryV2Trigger : HTTP Status Code: BadRequest
Error Code: TriggerEnabledCannotUpdate
Error Message: Cannot update enabled Trigger; it needs to be disabled first.
Request Id: <id number here>
Timestamp (Utc):06/17/2018 21:31:49
At line:1 char:1
+ Remove-AzureRmDataFactoryV2Trigger -ResourceGroupName "ResourceGroupName" -Data ...
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : CloseError: (:) [Remove-AzureRmDataFactoryV2Trigger], ErrorResponseException
    + FullyQualifiedErrorId : Microsoft.Azure.Commands.DataFactoryV2.RemoveAzureDataFactoryTriggerCommand

尝试执行直接部署时,以及手动运行PowerShell脚本以删除触发器时,我都会收到此错误

Remove-AzureRmDataFactoryV2Trigger -ResourceGroupName "ResourceGroupName" -DataFactoryName "DataFactoryName" -Name "TriggerName"

我找不到通过PowerShell或在发布期间禁用触发器的方法.任何人都可以帮我找到解决方法吗？没有它,我无法与数据工厂进行持续集成发布.

谢谢

在我的 Azure 数据工厂中，监控似乎只显示通过计划启动的管道活动。我已经手动执行了许多管道。这些似乎没有出现在 Monitoring 中。这是设计使然还是我做错了什么？

我将数据存储在blob中,我编写了一个python脚本来进行一些计算并创建另一个csv.如何在Azure Data Factory中执行此操作？

我需要创建一个大文件，通过合并分散在 Azure Blob 存储中包含的几个子文件夹中的多个文件，还需要进行转换，每个文件都包含单个元素的 JSON 数组，因此最终文件将包含一个JSON 元素数组。

最终目的是在 Hadoop 和 MapReduce 作业中处理该大文件。

原始文件的布局类似于：

folder
 - month-01
   - day-01
        - files...

- month-02
    - day-02
        - files...

在数据工厂中，我们可以将“设置变量”活动的输出记录为 json 文件吗？