Hadoop HDFS最大文件大小

jim*_*myb 7 hadoop hdfs

我的一位同事认为HDFS没有最大文件大小,即通过划分为128/256mcg块可以存储任何文件大小(显然HDFS磁盘有一个大小,这将限制,但这是唯一的限制).我找不到任何说有限制的东西,所以她是对的吗?

谢谢,吉姆

小智 13

那么显然有一个实际限制.但物理HDFS块ID是Java长,因此它们的最大值为2 ^ 63,如果块大小为64 MB,则最大大小为512 yottabytes.


And*_*rey 0

我不是 Hadoop 专家,但据我所知,尽管存在诸如总体存储容量和最大命名空间大小等隐性因素,但单个文件大小没有明确的限制。此外,可能还有关于实体数量和目录大小的管理报价。本文档对 HDFS 容量主题进行了很好的描述。此处描述并讨论了报价

我建议额外关注最后一个链接引用的 Michael G Noll 的博客,它涵盖了许多特定于 hadoop 的主题。