Azure Data Factory在复制到Blob存储时指定自定义输出文件名

Question

我目前正在使用ADF按计划将文件从SFTP服务器复制到Blob存储.

文件名结构为AAAAAA_BBBBBB_CCCCCC.txt.

是否可以在复制到Blob存储之前重命名该文件,以便最终得到类似文件夹的结构,如下所示？

AAAAAA/BBBBBB/CCCCCC.txt

Answer 1

这对我有用

我在 Blob 存储数据集中创建了 3 个参数，请参见下图：

我指定了我的文件的名称，添加了文件扩展名，您可以在时间戳中添加任何内容，这样您就可以绕过 ADF 要求，因为参数不能为空。

接下来，单击 Connection 选项卡并在 FileName 框中添加以下代码：@concat(dataset().FileName,dataset().Timestamp,dataset().FileExtension)。这段代码基本上连接了所有参数，你可以有像“FileName_Timestamp_FileExtension”这样的东西。请看下面的图片：

接下来，单击您的管道，然后选择您的复制数据活动。单击接收器选项卡。在 Dataset 属性下找到参数 Timestamp 并添加以下代码：@pipeline().TriggerTime。见下图：

最后，发布您的管道并运行/调试它。如果它对我有用，那么我相信它也对你有用:)

Answer 2

有了 ADF V2，您就可以做到这一点。首先，使用查找活动获取源的所有文件名。然后链接一个foreach 活动来迭代源文件名。foreach 活动包含一个复制活动。cop 活动的源数据集和接收器数据集都具有文件名和文件夹路径的参数。您可以使用拆分和替换功能根据源文件名生成接收器文件夹路径和文件名。