Azure Data Lake Store的一致性

Lar*_*son 0 consistency azure-data-lake

Azure Data Lake Store的一致性保证是什么?有没有人找到描述它的技术文档?

我特别感兴趣的是目录移动是否是原子的,目录列表是否一致,以及文件是否是写后读一致的.

Ami*_*rni 6

在Azure Data Lake Store中,文件具有读写后一致性(有时也称为强一致性).目录列表也非常一致.

目录和文件重命名操作是原子操作.这包括将目录/文件移动到不同的父级.此行为的唯一警告是重命名操作的目标已存在且使用OVERWRITE选项.在这种情况下,重命名操作不是原子操作.有关使用OVERWRITE选项重命名的更多信息是[位于此处](https://hadoop.apache.org/docs/r2.6.1/api/org/apache/hadoop/fs/FileSystem.html#rename ( org.apache. hadoop.fs.Path,org.apache.hadoop.fs.Path,org.apache.hadoop.fs.Options.Rename ...)).

-Azure Data Lake Store团队

  • 与许多云对象存储不同,ADLS 是一个文件系统。它被设计为具有许多类似于 HDFS 的特性,例如原子目录移动、目录列表的一致性和文件的读写一致性。我们已经测试并认证了在 Azure HDInsight 中运行的所有工作负载,包括带有 ADLS 的 Spark。所以它应该适用于所有场景。 (2认同)