Azure Data Lake Gen 1与Gen 2

Question

最近,Azure 发布了 Data Lake Gen 2预览版.据我所知,Gen 1和Gen 2之间的主要区别(就功能而言)是对同一数据同时访问对象存储和文件系统.其他差异将是价格,可用位置等.任何人都可以解释第1代和第2代之间的其他主要区别是什么？

Answer 1

基本上，将gen2视为gen1的超集，再加上blob存储的所有最佳部分：层，HDFS和对象存储API，大概可以有效处理超过35K文件的管理并有效处理许多小尺寸和细流写类型的操作..加上它更便宜。

我试图在一些细节上弄清楚一些，但与此同时没有找到太多尝试这些链接：

https://azure.microsoft.com/zh-CN/blog/a-closer-look-at-azure-data-lake-storage-gen2/

https://docs.microsoft.com/zh-cn/azure/storage/data-lake-storage/introduction

Answer 2

Azure 数据湖存储 Gen2 是 Azure 数据湖 Gen 1 的超集。它也被微软称为“不妥协的数据湖”。第 2 代扩展了 Azure blob 存储功能，并且最适合分析工作负载。由于它支持原子文件和文件夹操作，因此在执行数据库操作时，它可以存储一次数据并通过现有的 blob 存储和符合 HDFS 标准的文件系统接口进行访问，而无需更改编程或复制数据。
目前，它仅在美国西部 2 和美国中西部数据中心可用。但据微软称，它将在不久的将来扩展到其他数据中心。