标签: rsync

如何使用命令行在不同aws账户的s3存储桶之间传输数据

如何使用 s3cmd 在不同 aws 账户的 s3 存储桶之间传输数据?

command will be like this: s3cmd rsync s3://acc1_bucket/folder/ s3://acc2_bucket/folder --recursive 
Run Code Online (Sandbox Code Playgroud)

那么它如何识别第二个存储桶环境呢?正确的做法是什么?

rsync amazon-s3 amazon-web-services s3cmd

2
推荐指数
1
解决办法
4530
查看次数

Rsync 奇怪的行为

场景如下:在源服务器上,由于旧磁盘阵列空间不足,我们添加了新磁盘阵列。因此,我使用“cp”将旧磁盘阵列中的内容复制到新磁盘阵列。然后我卸载了旧磁盘阵列并安装了新阵列,同时保留了分区名称。

第二天,我们的 rsync 进程运行了,出于某种原因,它不仅复制了增量/不同的文件,而且似乎正在遍历整个文件……我不确定它在做什么,有巨大的 CPU进程的使用而不是大量的 IO 使用。所以,我猜它正在做一些校验和过程来比较源和目标之间的数据而不是复制文件?

无论如何,以前有人见过这种 rsync 行为吗?是什么触发了这种行为?是因为我“cp”了文件,因此文件不同吗?rsync 是否有一个文件,其中 rsync 保留了它之前扫描过的文件列表,以便它知道它只会复制增量文件?

rsync

1
推荐指数
1
解决办法
271
查看次数

通过 SSHauthorized_keys 命令验证 rsync="..."

我正在尝试通过 sshd 的 authorized_keys 文件验证 rsync。

问题是我无法从验证脚本执行 rsync。


这是我的authorized_keys文件:

command="/home/username/Desktop/valrsync username" ssh-rsa AAAA [...]
Run Code Online (Sandbox Code Playgroud)

这是每次尝试不同的 valrsync 脚本:

测试 1 -

$SSH_ORIGINAL_COMMAND
Run Code Online (Sandbox Code Playgroud)

输出 -

$ rsync [...] / username@remotemachine:/
/home/username/Desktop/valrsync: line 2: rsync: command not found
rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(601) [sender=3.0.7]
Run Code Online (Sandbox Code Playgroud)

而且,更重要的是,测试 2 -

#!/usr/bin/python

import os
os.system(os.getenv('SSH_ORIGINAL_COMMAND'))
Run Code Online (Sandbox Code Playgroud)

输出(从本地机器运行 rsync 并valrsync在远程机器上获取输出) -

$ rsync [...] / username@remotemachine:/
sh: rsync: command not …
Run Code Online (Sandbox Code Playgroud)

ssh rsync

1
推荐指数
2
解决办法
2971
查看次数

从 Drobo 到 Drobo 的 rsync

我想将备份 rsync 作业从一个 Drobo 运行到另一个。我设法安装了 rsync 和 ssh 工具,这样我就可以从桌面 ssh 到 backup@drobo1.local,然后从 drobo1.local ssh 到 backup@drobo2.local

我需要设置的是 Drobo2 上的备份用户,它具有来自 Drobo1 的无密码登录。

我该如何设置?

ssh drobo rsync ssh-keygen

1
推荐指数
1
解决办法
1580
查看次数

Robocopy 能有效复制大文件吗?

在我们的小型公司中,我们使用 Vmware。我们使用 Veeam 备份虚拟机。生成的文件按每个 VM 200-300 GB 的顺序排列,总共有 1/1.2 TB 的数据。我使用 robocopy 将备份到外部硬盘驱动器的 VM 文件复制。我想知道 Robocopy 是否使用诸如 rsync 之类的东西来仅复制更改的“块”数据而不是整个文件。谢谢

rsync robocopy

1
推荐指数
1
解决办法
7190
查看次数

检查文件是否使用 SCP 复制的推荐做法

我正在尝试创建简单的备份脚本,将一些文件复制到远程机器上的带时间戳的目录 - 这部分工作正常,因为我还没有遇到诸如网络连接之类的问题。

我想知道检查我的文件是否被正确复制的推荐做法。

我正在考虑两种方法来做到这一点:

  • 在复制文件之前检查文件大小/md5 并将它们与远程机器上的文件大小进行比较
  • 总是再复制一个最后复制的文件(如 1 字节文件),然后检查它是否存在于远程机器上。

linux backup rsync scp

1
推荐指数
1
解决办法
1190
查看次数

什么 shell 脚本正在调用 rsync?

在过去的几天里,我醒来发现 rsync 运行着 1.6GB 的内存,大大降低了我的 Mac 的速度。Activity Monitor 只说 rsync 来自 sh,但我正在尝试追踪更多信息;具体来说,什么 shell 脚本正在调用 rsync。我怎样才能找到它?

shell rsync

1
推荐指数
1
解决办法
166
查看次数

Rsync 退出代码检查器 - Bash

我的家庭服务器上有一个简单的脚本,可以将数据同步到要存储的备份驱动器。

现在它一个接一个地运行多个 rsync。

有时 rsync 会在其中一两个上失败。发生这种情况时,我希望它通过电子邮件告诉我它失败了,我已经通过电子邮件向我发送了报告,但是,我想知道它是否失败。

如果 Rsync 以非 0 代码退出,则表示失败。所以我需要一些简单的代码来检查 rsync 状态,如果它不是 0,则允许我执行一个操作。

有没有人对我如何实现这一目标有任何提示?谢谢你。

bash rsync

1
推荐指数
1
解决办法
7395
查看次数

使用 RAID1 协助异地备份

我正在尝试为我公司的关键信息设置一个异地、离线备份程序。我们已经使用 RSYNC 设置了办公室冗余备份,每天一次将所有内容备份到两个独立的硬盘驱动器上,我们希望将现有的备份系统复制到第三个驱动器上,然后我们可以将其移除并携带异地每个月左右。

我的问题涉及复制步骤。我们正在寻找简单但自动(或易于自动化)的东西。我最初的想法是将我们当前的一个备份驱动器重铸为 RAID1 对,获得一个热插拔驱动器托架(即类似 Antec Easy SATA http://store.antec.com/Product/accessories-other/ easy-sata/0-761345-30750-5.aspx),购买一些额外的驱动器,并根据需要更换它们,让 RAID 自动重建驱动器。

问题是,我没有使用 RAID 的经验,所以我不知道会发生什么。我尽量不重新发明轮子。在我看来,使用 RAID 是理想的,因为

  • 添加新的备份驱动器对我们当前的设置是透明的,不需要在实际设置 RAID 之外进行任何更改
  • 备份数据的附加程序将减少到
    1. 获取当前驱动器
    2. 热插拔空白替换驱动器(或要覆盖的先前备份)
  • 系统会自动将替换驱动器视为故障并重建;完成重建后,驱动器将始终保持最新状态并准备好移除

RAID真的像我想的那样工作吗?或者有没有一种简单的方法可以让它以这种方式运行?如果没有,是否还有另一种易于维护的设置,只需抓住就可以了?

backup rsync raid1

1
推荐指数
1
解决办法
899
查看次数

ZFS 重新同步可以有效地用于备份到外部驱动器吗?

假设我目前使用 rsync 定期将内部驱动器备份到外部驱动器。外部驱动器通常存储在异地,但会定期通过 USB 传输并插入,然后我手动完成启动 rsync 的过程。

我是 ZFS 的新手,但想知道是否可以用内部驱动器和外部驱动器都是 RAIDZ 池的一部分的设置替换上述过程,以便我一安装外部驱动器它就会启动重新同步。如果是这样,就性能而言,重新同步与 rsyncing 相比如何?一般来说,这样的设置有什么缺点吗?

backup zfs rsync

1
推荐指数
1
解决办法
169
查看次数

标签 统计

rsync ×10

backup ×3

ssh ×2

amazon-s3 ×1

amazon-web-services ×1

bash ×1

drobo ×1

linux ×1

raid1 ×1

robocopy ×1

s3cmd ×1

scp ×1

shell ×1

ssh-keygen ×1

zfs ×1