有效处理2+百万个文件

Question

我有一个基于文件的数据库，它有大约 200 万个文件存储在 3 个级别的子目录中。

2/2/6253
2/2/6252
...

文件 a 从 30 字节到 60 KB 不等。整个数据库是只读的。DB 大约为 125 GB。

补充：所有文件均由zlib（python）压缩

我想将其作为一个文件处理，其中包含文件系统。哪个文件系统是我最好的选择？

目前我使用以下脚本：

dd if=/dev/zero of=/my_file.iso bs=1024K count=60000
mkfs.ext4 -f /my_file.iso
mount -o loop /my_file.iso /mnt/

Answer 1

您可能只想使用 XFS。

它完全有能力满足您的要求，并且可以完成工作。

没有理由用较少使用的文件系统使这复杂化，这可能会带来其他权衡。

如果您想要更深奥的东西，顶部带有文件系统的 ZFS zvol 可以提供一个有趣的替代方案（用于压缩、完整性和可移植性目的）。