文件系统，可处理超过 200 万个文件

Question

我要将文件存储在我服务器的一个文件夹中。文件量将超过200万。每个文件的大小范围在5MB-100MB之间。

什么样的文件系统可以处理这么大的数据量？

我知道 XFS 可以处理非常大的单个文件，它可以处理大量文件吗？

Answer 1

XFS 可以接受，但如果您为您的用例做计划，它会更好。如果操作系统有更少的 inode 来获取数据，那么访问该数据（STAT 和 OPEN 操作）的速度会更快。如果给定目录中的文件/目录少于 30K，则无需担心此优化。

但是，如果您要更大，则可能需要考虑使用该-i size=512选项为您提供更大的 inode 大小。这将允许每个 inode 有更多的目录条目，因此操作系统将不得不通过更少的浏览来遍历树。考虑到如今的 SSD，这将比在旋转生锈的日子里改善更少；但这是一个需要考虑的优化。

我曾经管理过一个基于 XFS 的文件系统，其中有超过 2000 万个文件，平均文件大小约为 100KB。我设计了那个特定的文件系统来处理超过 1 亿个文件，当我离开那家公司时，它有望实现这一目标。这是我在此处描述的系统的 prod 版本：高目录文件比对 XFS 的影响

XFS 是最好的选择吗？很难说。但是对于像您描述的大型文件系统，我比ext4更信任它。btrfs或许能够接受它，但更保守的系统运营商派别认为它尚未做好生产准备。