相关疑难解决方法(0)

Rsync 守护进程:它真的有用吗?

rsyncd与 ssh 上的 rsync 相比,使用有什么实际好处吗?它真的能提高速度、稳定性吗?

rsync

36
推荐指数
5
解决办法
4万
查看次数

文件系统单个目录中的大量文件

好的,不是那么大,但我需要使用一些东西,其中大约 60,000 个平均大小为 30kb 的文件存储在单个目录中(这是一个要求,因此不能简单地分成具有较少文件数量的子目录)。

这些文件将被随机访问,但一旦创建,将不会写入同一文件系统。我目前正在使用 Ext3,但发现它很慢。有什么建议?

linux ext3

31
推荐指数
5
解决办法
5万
查看次数

大文件夹大小会降低 IO 性能吗?

我们有一个 Linux 服务器进程,它将几千个文件写入一个目录,删除这些文件,然后在不删除目录的情况下将另外几千个文件写入同一目录。我开始看到的是,写作的过程越来越慢。

我的问题是:从 ls -l 的输出可以看出,文件夹的目录大小已从 4096 增长到超过 200000。

root@ad57rs0b# ls -l 15000PN5AIA3I6_B total 232 drwxr-xr-x 2 Chef 厨师 233472 May 30 21:35 条码

在 ext3 上,这些大目录大小会降低性能吗?

谢谢。

亚伦

linux ext3

5
推荐指数
1
解决办法
5147
查看次数

rsync 两台大型存储服务器

我们有两台大型存储服务器(+100TB),一台运行在 ZFS 上,另一台运行 XFS,我们打算使用 XFS 作为我们的工作服务器,并使用 ZFS 作为备份服务器(快照 <3)。现在的问题是让这些野兽保持同步......(与每日同步一样同步)

最简单的选择是使用 rsync,但遗憾的是目录结构很深,而且到处都是硬链接。所以这意味着我们需要进行一次“全局”扫描,这将花费很长时间……最重要的是,大部分数据都是创建的,并且从未修改过。所以 rsync 可能不是要走的路。

我查看了inotify,它看起来相对便宜,而且因为我们只希望每天同步,所以可以卸载到一个好时机......遗憾的是,如果我们只查看创建的文件,我们会将硬链接复制为数据会使我们备份中使用的存储量增加一倍......(基本上没有办法从 rsync 进行 -H 检查)

我能想到的唯一选择是重新组织我们的存储以使用基于日期的目录,遗憾的是移动这么多数据并不是我们更喜欢的......

还有其他选择吗?

以供参考 :

  • 带有 XFS 的服务器有一个 RAID 控制器(无 JBOD 选项)和 SATA 磁盘 (WD RE)。32Gb 内存
  • 带有 ZFS 的服务器有一个 HBA 控制器和 SAS 磁盘。126Gb 内存

当我将 ZFS 称为缓慢时,我看到 'ls' 需要几秒钟...

storage rsync inotify

2
推荐指数
1
解决办法
236
查看次数

标签 统计

ext3 ×2

linux ×2

rsync ×2

inotify ×1

storage ×1