数据工厂中映射数据流不会忽略 CSV 文件文本值中的换行符

Mic*_* H. 5 csv azure azure-data-factory

我在 Azure 数据工厂中遇到以下问题:

在 ADLS 中,我有一个 CSV 文件,其中的值包含换行符:

A, B, C
a, b, c
a, "b
b", c
Run Code Online (Sandbox Code Playgroud)

该 CSV 加载到具有以下设置的 (CSV) 数据集(在 ADF 中);第一行是标题、引号字符双引号 (")、列分隔符逗号 (,)、行分隔符(\r、\n 或 \r\n)和转义字符反斜杠 ()。

数据集的“预览数据”似乎工作正常并输出一个包含 2 行的表。这也是我期望的输出,因为数据的整体结构被保留。 在此输入图像描述

但是,当我尝试在映射数据流中使用此数据集并选择“数据预览”(直接在源节点中)时,我得到以下输出: 在此输入图像描述

即使整个值位于双引号之间,也不会忽略换行符。数据的整体结构现在被破坏,一行被分成两行。

当我将某些单元格中带有换行符的 Excel 文件另存为 CSV 时,我会得到此类数据。我应该如何解决这个问题?我应该以不同的方式保存 Excel,我应该在保存为 CSV 之前尝试删除所有换行符,还是有办法让数据工厂解决这个问题?另外,为什么数据集中的预览数据功能似乎工作正常,而映射数据流中的数据预览功能却不能正常工作?

Leo*_*Yue 3

我尝试了此操作,复制活动和数据流源设置之间没有任何不同。

我上传了一个 csv 文件,并将 Blob 存储中的数据更改为与您相同的数据。

测试.csv:

在此输入图像描述

复制活动设置和数据预览的结果 在此输入图像描述

数据流源数据设置和数据预览结果: 在此输入图像描述 在此输入图像描述

请检查您的数据流中的设置。

参考教程:将表导出为 CSV,它也适用于 Azrue SQL 数据库。

更新:

我向 Azure 支持寻求帮助,他们进行了测试并出现了相同的错误。

Azure 支持回复了我并给出了原因: 在此输入图像描述

在此输入图像描述

希望这可以帮助。