标签: rsync

允许远程 rsync 的备份服务

我正在寻找一种在线备份服务,它允许我同步我的备份(每周 1-3GB 的增量,总共 50GB)。我目前在 Dreamhost 上使用我的托管空间,但由于(有争议)违反了他们的 TOS,我想摆脱它。

我很想知道人们使用 rsync 从 Linux 计算机备份到以下任何一个的经验: * 直接 Amazon S3(这可能吗?) * 直接 Rackspace 云存储 * Jungle Disk 到 amazon 或 rackspace * s3rsync 到 Amazon S3(它们看起来有点新)*任何其他良好的服务..

我也希望每月支付不超过 10 欧元

谢谢

linux backup rsync

15
推荐指数
1
解决办法
1万
查看次数

有谁知道为什么 rsync 会一遍又一遍地发送文件?

我正在尝试使用 rsync 备份一些文件,大约半 TB。现在它处于每次运行时不断发送相同文件的状态。

例如:

rsync -av /data/source/* user@host:/data/dest
sending incremental file list
source/file1.txt
source/file2.txt
Run Code Online (Sandbox Code Playgroud)

然后我验证这些文件被复制了......然后下次运行时它会做同样的事情

rsync -av /data/source/* user@host:/data/dest
sending incremental file list
source/file1.txt
source/file2.txt
Run Code Online (Sandbox Code Playgroud)

知道为什么它会卡在这些文件上吗?我试图擦除整个 dest 目录并重新开始,但没有运气。

谢谢,

linux rsync ubuntu

15
推荐指数
2
解决办法
6535
查看次数

在 Linux 中将一百万张图像从一个目录移动到另一个目录的最快方法是什么?

我有一百万个图像需要从一个本地目录移动到另一个本地目录,占用 30GB 的磁盘空间。

什么是最有效的方法来做到这一点?使用mv? 使用cp? 使用rsync? 还有什么?

我需要采取这些:

/path/to/old-img-dir/*
                     00000000.jpg
                     --------.jpg  ## nearly 1M of them! ##
                     ZZZZZZZZ.jpg
Run Code Online (Sandbox Code Playgroud)

并将它们移到此处:

/path/to/new/img/dir/
Run Code Online (Sandbox Code Playgroud)

linux performance rsync mv file-io

15
推荐指数
3
解决办法
3万
查看次数

两个本地目录之间的rsync

我试图rsync在连接到同一台计算机的两个文件系统中的两个目录之间进行操作。我想在不删除b. 我虽然一个简单的rsync -a a/dir b/dir工作,但它似乎没有。这是在具有以下功能的 Linux 系统上rsync version 3.0.6 protocol version 30

$ mkdir -p a/test
$ mkdir -p b/test
$ touch a/test/file1
$ touch a/test/file2
$ touch b/test/file3
$ tree a/test b/test
a/test
??? file1
??? file2
b/test
??? file3

0 directories, 3 files
$ rsync -a a/test/ b/
$ tree a/test b/test
a/test
??? file1
??? file2
b/test
??? file3

0 directories, 3 files
Run Code Online (Sandbox Code Playgroud)

当我在具有稍新版本的 rsync ( )的不同 Linux 系统上使用相同的命令时,它 …

linux rsync file-transfer

15
推荐指数
1
解决办法
3万
查看次数

使 linux 服务器允许 rsync/scp/sftp 但不允许终端登录

我想配置一个 linux 机器(可能是一个 Ubuntu 服务器),以便我可以设置用户,以便可以通过 rsync/scp/sftp 上传/下载文件,但不应该 ssh 到机器并获得一个交互式终端。

这可能吗?我将如何配置它?我知道我需要打开 ssh 服务器才能使 rsync/scp/sftp 工作,但我想应该有一种方法可以防止直接登录。

linux ssh rsync login

15
推荐指数
2
解决办法
1万
查看次数

正确转义 bash 脚本中的正斜杠以与 sed 一起使用

我试图通过在干模式下运行 rsync 来确定在同步两个文件夹时新复制的文件的大小,然后总结 rsync 输出中列出的文件的大小。

目前我被困在文件的父文件夹前缀上。我发现了如何使用 sed 为行添加前缀以及如何使用 sed 进行转义,但是我在将这两者结合起来时遇到了麻烦。

这是我走了多远:

source="/my/source/folder/"
target="/my/target/folder/"
escaped=`echo "$source" | sed -e 's/[\/&]/\\//g'`
du `rsync -ahnv $source $target | tail -n +2 | head -n -3 | sed "s/^/$escaped/"` | awk '{i+=$1} END {print i}'
Run Code Online (Sandbox Code Playgroud)

这是我从 bash -x myscript.sh 得到的输出

+ source=/my/source/folder/
+ target=/my/target/folder
++ echo /my/source/folder/
++ sed -e 's/[\/&]/\//g'
+ escaped=/my/source/folder/
+ awk '{i+=$1} END {print i}'
++ rsync -ahnv /my/source/folder/ /my/target/folder/
++ sed 's/^//my/source/folder//'
++ head -n -3
++ tail -n …
Run Code Online (Sandbox Code Playgroud)

linux bash rsync sed bash-scripting

15
推荐指数
1
解决办法
2万
查看次数

如何以尽可能少的 CPU 和带宽开销 rsync 一个大文件?

我有一个 500 GB 的文件,打算远程备份。该文件经常更改。我将把它从桌面同步到服务器。两者都可以运行 rsync 客户端或服务器。

什么是正确的命令?到目前为止,我尝试过的那些一直在服用,或者只是表现得很奇怪。

示例和结果:

rsync -cv --partial --inplace --no-whole-file /desktop/file1 myserver.com::module/file1 
Run Code Online (Sandbox Code Playgroud)

似乎有效,但前提是我做两次(?!)。还有,慢。

上面的命令是在两台计算机上进行校验和,还是只在发送端进行校验?否则正确吗?

rsync

14
推荐指数
2
解决办法
3万
查看次数

rsync 抱怨 Bash 脚本中的“缺少尾随-”

尝试在屏幕会话中将文件从一台服务器同步到另一台服务器。我决定放入一个 Bash 脚本,而不是每次都写长命令。但是,当我运行它时,出现Missing trailing-" in remote-shell command.错误。

想知道脚本中出了什么问题。

root@127.0.0.1:~# /raid/data/module/bin/rbk.sh Movies /raid/data/Movies rsync_target/

/raid/data/module/bin/screen -S Movies 

/opt/bin/rsync --rsh="ssh -p 10022 -c des"\
--rsync-path="/opt/bin/rsync" --inplace --progress -a -vv \
/raid/data/Movies sys@192.168.1.15:/raid/data/rsync_target/

Missing trailing-" in remote-shell command.
rsync error: syntax or usage error (code 1) at main.c(361) [sender=3.0.5]
Run Code Online (Sandbox Code Playgroud)

该脚本会先回显它将执行的操作,然后再执行该命令。下面是我的脚本的转储:

#!/bin/bash
SCREEN="/raid/data/module/bin/screen"
SCREENOPT="-S"
SCREEN_TITLE=$1

RSYNC="/opt/bin/rsync"
RSYNCOPT="--rsh=\"ssh -p 10022 -c des\" --rsync-path=\"/opt/bin/rsync\" --inplace --progress -a -vv"

SOURCE=$2

REMOTE_USER="sys@"
REMOTE_HOST="192.168.1.15"
REMOTE_BASE=":/raid/data/"
REMOTE_TARGET=$3

echo ${SCREEN} ${SCREENOPT} ${SCREEN_TITLE}

echo ${RSYNC} ${RSYNCOPT} ${SOURCE} ${REMOTE_USER}${REMOTE_HOST}${REMOTE_BASE}${REMOTE_TARGET}
${RSYNC} ${RSYNCOPT} …
Run Code Online (Sandbox Code Playgroud)

ssh bash rsync

14
推荐指数
2
解决办法
1万
查看次数

使用 Linux 将文件从 NTFS 精确复制到另一个 NTFS

我尝试将所有文​​件从 NTFS 复制到外部驱动器,并希望保留所有权限和属性。外部驱动器已经有一个 NTFS 并包含其他文件。

我考虑过使用以下工具:

  • ntfsclone不起作用,因为它在扇区级别运行并且会克隆整个 FS,从而破坏旧数据。如果用于创建图像文件,我无法从 Windows 机器访问内容。
  • rsync 不保留所有元数据。

另一种方法是robocopy在正在运行的 Windows 中使用,但我更愿意在没有的情况下复制文件。(源分区用作系统的C:\.)

如何复制文件?

linux backup ntfs rsync

14
推荐指数
1
解决办法
1万
查看次数

rsync 与仍在写入的文件的行为?

如果 Apache 正在编写一个大文件并且在该文件上运行 rsync cron 作业,rsync 是否尝试复制该文件?

例子

  • Apache-1:有大文件正在写入/var/www.
  • Apache-2:Apache-1 的克隆。每五分钟让 cron 运行 rsync 以获取/var/www同步。

linux apache-http-server rsync cron ubuntu

14
推荐指数
1
解决办法
3万
查看次数