小编Tim*_*Tim的帖子

移动 2TB(1000 万个文件 + 目录),我的瓶颈是什么?

背景

跑出空位/home/data需要,并转移/home/data/repo/home/data2

/home/data/repo包含 1M 个目录,每个目录包含 11 个目录和 10 个文件。总共 2TB。

/home/data在启用 dir_index 的 ext3 上。 /home/data2在 ext4 上。运行 CentOS 6.4。

我认为这些方法很慢,因为repo/它下面有 100 万个目录。


尝试 1:mv速度快但被打断

如果这已经完成,我可以做到:

/home/data> mv repo ../data2
Run Code Online (Sandbox Code Playgroud)

但是在传输了1.5TB之后就中断了。它以大约 1GB/分钟的速度写入。

尝试 2:rsync在构建文件列表 8 小时后爬行

/home/data> rsync --ignore-existing -rv repo ../data2
Run Code Online (Sandbox Code Playgroud)

构建“增量文件列表”需要几个小时,然后以 100MB/分钟的速度传输。

我取消它以尝试更快的方法。

尝试 3a:mv抱怨

在子目录上测试它:

/home/data/repo> mv -f foobar ../../data2/repo/
mv: inter-device move failed: '(foobar)' to '../../data2/repo/foobar'; unable …
Run Code Online (Sandbox Code Playgroud)

centos rsync ext3 ext4 mv

21
推荐指数
1
解决办法
6548
查看次数

标签 统计

centos ×1

ext3 ×1

ext4 ×1

mv ×1

rsync ×1