Google文件系统中的块大小问题

Question

谷歌文件系统文件 -

块大小是关键设计参数之一.我们选择了64 MB,这比典型的文件系统块大小要大得多.每个块副本都作为普通Linux文件存储在块服务器上,并且仅在需要时进行扩展.惰性空间分配避免了由于内部碎片造成的浪费空间,可能是对这么大的块大小的最大反对.

什么是懒空间分配以及如何解决内部碎片问题？

一个小文件由少量块组成,可能只有一个.如果许多客户端访问同一个文件,那么存储这些块的块服务器可能会变成热点......我们通过存储具有更高复制因子的可执行文件并使批处理队列系统错开应用程序启动时间来解决此问题.

什么是惊人的应用程序启动时间以及它如何避免大块服务器成为热点？

Answer 1

延迟空间分配意味着文件系统在写入之前实际上不会提供文件空间.它们通常被称为稀疏文件.例如,如果仅使用64MB块文件的前2MB,则实际上仅在磁盘上使用2MB.

错开应用程序启动时间只意味着它们不会立即启动所有内容.如果每个应用程序在启动时都需要读取存储在GFS中的一些配置文件,如果它们全部同时启动,则会出现加载问题.扩展启动时间可以缓解这种情况.