数百万个小文件的块大小

Question

我在 Debian Wheezy 上的硬件 RAID1（可能是 LSI MegaRaid）中有 2 个 4TB 磁盘。物理块大小为 4kB。我将存储 150-2 亿个小文件（3 到 10kB 之间）。我不是在要求性能，而是为了节省存储空间的最佳文件系统和块大小。我已将 8200 字节的文件复制到块大小为 4kB 的 ext4 上。这占用了 32kB 的磁盘空间！？写日记是原因吗？那么有哪些选项可以为这些小文件节省大部分存储空间呢？

Answer 1

如果我处于这种情况，我会寻找一个可以将所有数据存储在一个具有紧凑的、基于偏移量的索引的文件中的数据库，而不是作为单独的文件。也许一个数据库有一个 FUSE 驱动程序，可以在必要时作为文件与其进行交互，而实际上它们并不是单独的文件。

或者，您可以查看文件大小的第 60--70 个百分位，并尝试将该文件大小直接放入文件系统树节点中，而不是作为磁盘上的单独块。在每个节点中存储 10k 可能是一个很大的要求，但如果您能在其中获取 60%-70% 的文件，那可能是一个巨大的胜利。

只有某些文件系统才能做到这一点（reiserfs 就是其中之一），我想这完全取决于百分位数的大小，以及它是否适合树。您也许可以调整它。我想尝试将其余部分放入一个块中。

不用担心期刊；无论如何，它们都有尺寸上限。