小编Mic*_* H.的帖子

使用 Azure 数据工厂 (ADF) 数据流 (DF) 从/向 Azure Data Lake Store gen1 发送和接收数据

我有一个 Azure Data Lake Store gen1 (ADLS-1) 和一个带有数据流 (DF) 的 Azure 数据工厂 (ADF) (V2)。当我在 ADF 中创建新的 DF 并在源和/或接收器节点中选择 ADLS-1 中的数据集时,我收到以下验证错误(在 DF 中):

source1 AzureDataLakeStore does not support MSI authentication in Data Flow.

这是否意味着我无法将 DF 与 ADLS-1 一起使用,或者这是某种身份验证问题?

我尝试过的事情列表:

  • 我已在 ADLS-1 的访问控制 (IAM) 中为 ADF 资源授予所有者角色
  • 我已向 ADF 资源授予数据集 ADLS-1 文件夹中的所有(读、写等)权限
  • 我可以在 ADF 管道中将数据从 ADLS-1 复制到 ADLS-1(因此在 DF 之外)
  • 我可以在 DF 的源节点和接收器节点中为来自 ADLS-2 (gen 2) 的数据集选择数据集(所以这里我没有收到错误)
  • 我可以创建一个管道,首先将数据集从 ADLS-1 复制到 ADLS-2,然后使用 DF 对其进行处理(然后将其复制回来)。这个解决方法非常乏味,而且我(目前)还没有生产 ADLS-2。
  • 这里说ADLS-1 支持的功能包括映射数据流 (DF)。

如果有人知道将 DF 与 ADLS-1 …

dataflow azure-data-factory

5
推荐指数
1
解决办法
1432
查看次数

数据工厂中映射数据流不会忽略 CSV 文件文本值中的换行符

我在 Azure 数据工厂中遇到以下问题:

在 ADLS 中,我有一个 CSV 文件,其中的值包含换行符:

A, B, C
a, b, c
a, "b
b", c
Run Code Online (Sandbox Code Playgroud)

该 CSV 加载到具有以下设置的 (CSV) 数据集(在 ADF 中);第一行是标题、引号字符双引号 (")、列分隔符逗号 (,)、行分隔符(\r、\n 或 \r\n)和转义字符反斜杠 ()。

数据集的“预览数据”似乎工作正常并输出一个包含 2 行的表。这也是我期望的输出,因为数据的整体结构被保留。 在此输入图像描述

但是,当我尝试在映射数据流中使用此数据集并选择“数据预览”(直接在源节点中)时,我得到以下输出: 在此输入图像描述

即使整个值位于双引号之间,也不会忽略换行符。数据的整体结构现在被破坏,一行被分成两行。

当我将某些单元格中带有换行符的 Excel 文件另存为 CSV 时,我会得到此类数据。我应该如何解决这个问题?我应该以不同的方式保存 Excel,我应该在保存为 CSV 之前尝试删除所有换行符,还是有办法让数据工厂解决这个问题?另外,为什么数据集中的预览数据功能似乎工作正常,而映射数据流中的数据预览功能却不能正常工作?

csv azure azure-data-factory

5
推荐指数
1
解决办法
6736
查看次数

标签 统计

azure-data-factory ×2

azure ×1

csv ×1

dataflow ×1