标签: pscp

同时从本地文件夹并行复制到远程服务器

我有多个文件夹,每个文件夹大约有1500个文件。我有一种 for 循环遍历每个文件夹,然后根据环境将文件发送到一个或 4 个远程主机。目前我正在使用rdist. 我拥有的几乎每个文件每天都会发生变化,有时它只是更改文件内的日期和时间。

我遇到过一些命令,比如pscp,prsync以及 GNU parallel。我在多个主机上进行了实验pscprdist两者都给出了相似的结果。

  1. rdistprsync在性能方面有什么区别?我的理解是prsync可以在多个主机上迁移文件,并且rdist. 我从测试中得到的理解是,既不能prsyncrdist单个主机上并行复制多个文件;也不能在单个主机上并行复制多个文件。它们只能在多个主机上并行复制文件。那么从性能方面来看两者有什么区别吗?

    对于rdist,我的脚本创建一个类似的 distfile

    HOSTS( user@server user@server2 user@server3 )
    RUN:(/var/inputpath/folder)
    -> ${HOSTS}
    install (/var/outputpath/folder)
    
    Run Code Online (Sandbox Code Playgroud)

    然后我rdist像下面一样运行

    rdist-f /dist-file-path -P /path/to/ssh
    
    Run Code Online (Sandbox Code Playgroud)
  2. parallel使用 GNU 测试了本地副本cp并使用zip. 确实非常快。这允许甚至在本地计算机上并行复制多个文件。

所以我的问题是,是否有可能将 GNU 并行与 say pscpor rdistor结合起来prsync

rsync gnu-parallel pscp

5
推荐指数
1
解决办法
2750
查看次数

标签 统计

gnu-parallel ×1

pscp ×1

rsync ×1