30Mb使用DataLakeStoreFileSystemManagementClient限制上载到Azure DataLake

Question

我在使用时收到错误

_adlsFileSystemClient.FileSystem.Create(_adlsAccountName, destFilePath, stream, overwrite)

将文件上传到datalake.超过30Mb的文件出现错误.它适用于较小的文件.

错误是:

在Microsoft.Azure.Management.DataLake.Store.FileSystemOperations.d__16.MoveNext()---从抛出异常的先前位置的堆栈跟踪结束---在System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(任务任务)at at Microsoft.Azure.Management.DataLake.Store.FileSystemOperationsExtensions.d__23.MoveNext()中的System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(任务任务)---从抛出异常的上一个位置开始的堆栈跟踪结束---在系统中Microsoft.Azure.Management.DataLake.Store.FileSystemOperationsExtensions.Create的System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(任务任务)中的.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(任务任务)(IFileSystemOperations操作,String accountName,String directFilePath,1 overwrite, Nullable在AzureDataFunctions.DataLakeController.CreateFileInDataLake 中流streamContents,Nullable 1 syncFlag)(String destFilePath,Stream stream,Boolean overwrite)在F:\ GitHub\ZutoDW\ADF_ProcessAllFiles\ADF_ProcessAllFiles\DataLakeController.cs:第122行

有没有人遇到过这个？或观察到类似的行为？我通过将我的文件分成30Mb片段并上传它们来解决这个问题.

然而,从长远来看这是不切实际的,因为原始文件是380Mb,并且可能相当大一些.从长远来看,我不希望在我的数据池中有10-15个解剖文件.我想上传为单个文件.

我可以通过门户界面将完全相同的文件上传到datalake.

Answer 1

它在这里回答.

目前,大小限制为30000000字节.您可以通过创建初始文件然后追加来解决,两者的流大小都小于限制.