小编Var*_*run的帖子

优化 rsync 以快速传输大文件

这就是我需要的:

  • 在源服务器上运行的 Rsync 守护进程。目标服务器执行 rsync 拉取,如下所示:
    rsync -ptv rsync://source_ip:document/source_path/*.abc destination_path/
  • 巨大的二进制文件(3 GB 到 5 GB)通过 LAN 从源计算机复制到目标计算机。所以不需要加密/解密。因此不使用SSH。目标机器直接连接到 rsync 守护进程。
  • 在 rsync pull 之前,目标文件夹将始终为空。所以我不必担心有条件地更新一些文件。Rsync pull 将始终在目标(而不是更新)中创建新文件。因此我不需要 rsync 来计算校验和。

我对接收端 rsync 消耗的 CPU 量不满意?在上述情况下,哪些 rsync 选项将帮助我优化 rsync 的使用。我担心的是 rsync 可能做的比我需要的更多。rsync 校验和文件。我不需要那个。

也希望看到速度改进。

更改块大小、禁用校验和等会有所帮助吗?

files rsync

22
推荐指数
1
解决办法
5万
查看次数

在两台远程机器之间复制大文件 - 高效

我有一个 shell 脚本,它不断在远程系统之间复制大文件(2 GB 到 5 GB)。基于密钥的身份验证与代理转发一起使用,一切正常。例如:假设 shell 脚本在机器 A 上运行并将文件从机器 B 复制到机器 C。

“scp -Cp -i 私钥 ssh_user@source-IP:source-path ssh_user@destination-IP:destination-path”

现在的问题是进程 sshd 不断占用 CPU 负载。
例如:目标机器(即机器-C)上的 top -c 显示

  PID 用户 PR NI VIRT RES SHR S %CPU %MEM TIME+ 命令                                                                         
14580 ssh_user 20 0 99336 3064 772 R 85.8 0.0 0:05.39 sshd:ssh_user@notty                                                            
14581 ssh_user 20 0 55164 1984 1460 S 6.0 0.0 0:00.51 scp -p -d -t /home/binary/instances/instance-1/user-2993/

这导致高平均负载。

我相信 scp 占用了太多 CPU,因为它正在加密/解密数据。但是我不需要加密数据传输,因为机器 B 和机器 C 都在局域网中。 …

rsync remote copy scp

7
推荐指数
2
解决办法
2万
查看次数

标签 统计

rsync ×2

copy ×1

files ×1

remote ×1

scp ×1