好的,不是那么大,但我需要使用一些东西,其中大约 60,000 个平均大小为 30kb 的文件存储在单个目录中(这是一个要求,因此不能简单地分成具有较少文件数量的子目录)。
这些文件将被随机访问,但一旦创建,将不会写入同一文件系统。我目前正在使用 Ext3,但发现它很慢。有什么建议?
我们有一个 Linux 服务器进程,它将几千个文件写入一个目录,删除这些文件,然后在不删除目录的情况下将另外几千个文件写入同一目录。我开始看到的是,写作的过程越来越慢。
我的问题是:从 ls -l 的输出可以看出,文件夹的目录大小已从 4096 增长到超过 200000。
root@ad57rs0b# ls -l 15000PN5AIA3I6_B total 232 drwxr-xr-x 2 Chef 厨师 233472 May 30 21:35 条码
在 ext3 上,这些大目录大小会降低性能吗?
谢谢。
亚伦
我们有两台大型存储服务器(+100TB),一台运行在 ZFS 上,另一台运行 XFS,我们打算使用 XFS 作为我们的工作服务器,并使用 ZFS 作为备份服务器(快照 <3)。现在的问题是让这些野兽保持同步......(与每日同步一样同步)
最简单的选择是使用 rsync,但遗憾的是目录结构很深,而且到处都是硬链接。所以这意味着我们需要进行一次“全局”扫描,这将花费很长时间……最重要的是,大部分数据都是创建的,并且从未修改过。所以 rsync 可能不是要走的路。
我查看了inotify,它看起来相对便宜,而且因为我们只希望每天同步,所以可以卸载到一个好时机......遗憾的是,如果我们只查看创建的文件,我们会将硬链接复制为数据会使我们备份中使用的存储量增加一倍......(基本上没有办法从 rsync 进行 -H 检查)
我能想到的唯一选择是重新组织我们的存储以使用基于日期的目录,遗憾的是移动这么多数据并不是我们更喜欢的......
还有其他选择吗?
以供参考 :
当我将 ZFS 称为缓慢时,我看到 'ls' 需要几秒钟...