标签: backup

linux上的非递归查找

我正在尝试查找直接位于当前目录内且早于特定年龄的所有目录。诀窍是,我只想考虑当前目录的直接后代的年龄,而不是递归搜索它们。

用法示例用于文件的每日备份 - 每天都会创建一个新目录,但放置在该目录中的文件保留其时间戳并且通常较旧。我希望能够在不删除更新快照中的旧文件的情况下清理旧备份。

看起来find可能无法做到这一点,您推荐什么 unix 工具(或它们的组合)?

linux unix backup bash find

7
推荐指数
1
解决办法
4973
查看次数

s3cmd 失败太多次

它曾经是我最喜欢的备份传输代理,但现在我经常在同一个 Ubuntu 服务器/网络上从 s3cmd 得到这个结果:

root@server:/home/backups# s3cmd put bkup.tgz s3://mybucket/
bkup.tgz -> s3://mybucket/bkup.tgz  [1 of 1]
      36864 of 2711541519     0% in    1s    20.95 kB/s  failed
WARNING: Upload failed: /bkup.tgz ([Errno 32] Broken pipe)
WARNING: Retrying on lower speed (throttle=0.00)
WARNING: Waiting 3 sec...
bkup.tgz -> s3://mybucket/bkup.tgz  [1 of 1]
      36864 of 2711541519     0% in    1s    23.96 kB/s  failed
WARNING: Upload failed: /bkup.tgz ([Errno 32] Broken pipe)
WARNING: Retrying on lower speed (throttle=0.01)
WARNING: Waiting 6 sec...
bkup.tgz -> s3://mybucket/bkup.tgz  [1 …
Run Code Online (Sandbox Code Playgroud)

linux backup amazon-s3

7
推荐指数
2
解决办法
1万
查看次数

一起运行多个 rsync 实例是否安全

我想知道在同一命令行中使用多个 rsync 实例将本地服务器上的同一目录备份到远程服务器上的同一目录是否安全?基本上,如果我并行运行以下命令 3-4 次,它会帮助加快速度吗?接收服务器正在使用 rsyncd。

rsync -av /home/directory/ backups@1.1.1.1::Home

backup rsync

7
推荐指数
1
解决办法
9941
查看次数

为什么 DPM 2012 不将我的磁带视为免费的,即使它们应该是免费的?

我有一台 DPM 2012 服务器(但我听说 DPM 2010 发生了相同的行为)我正在使用它来备份我的环境;它连接到单个磁带驱动器(无库),因此磁带旋转是手动的。

我的备份计划是:

  • 每天20:00磁盘备份
  • 每天 23:00 进行磁带备份
  • 磁带保留 1 周

当我在成功备份后检查磁带时,DPM 正确地说磁带上的所有恢复点都将在备份日 + 7 天(大约)20:00 到期。

问题是,在 7 天后,将该磁带放回驱动器时,DPM 抱怨没有可用的可用磁带。在 23:00,当它开始新的磁带备份时。当那个磁带上的旧磁带应该在三个小时前就过期了。

第二天可以在同一磁带上成功完成磁带备份。

回顾一下:

  • 磁带包含一些备份;检查磁带时,DPM 说它们被配置为在同一天的 20:00 到期。
  • 在 23:00 DPM 不能使用磁带,因为它说它不是免费的。
  • 第二天,同一磁带上的备份成功。

这是某种错误,还是我在这里遗漏了什么?
偶然 DPM 磁带是否每天都会过期,而不是在一天中的给定时间?

backup scdpm tape

7
推荐指数
1
解决办法
2921
查看次数

Bacula & Multiple Tape Devices, 等等

Bacula 不会同时使用 2 个磁带设备。(为TL;DR搜索#-#-#

也许有一点背景。

在尝试获得一个体面的工作备份解决方案(备份 >20TB 并不便宜或容易)的过程中$dayjob,我们买了一堆东西来让它工作。

首先,有一个 Spectra Logic T50e 自动转换器,40 个 LTO5 插槽,该机器人有一对 IBM HH5 Ultrium LTO5 驱动器,通过光纤通道仲裁环路连接到我们的备份服务器。

有备份服务器。戴尔 R715,配备 2 个 16 核 AMD 62xx CPU 和 32GB 内存。好吃。该服务器有 2 个 Emulex Fce-12000E 卡和一个 Intel X520-SR 双端口 10GE 网卡。

我们还出售了 Commvault Backup(非 NDMP)。

这就是它变得非常复杂的地方。

Spectra Logic 和 Commvault 都派出了各自的工程师,他们设置了库和软件。Commvault 运行良好,因为控制器工作正常。戴尔服务器的Ubuntu 12.04服务器,并运行了CommVault的MediaAgent和安装我们的BlueArc的NAS和NFS几个挂接点,如/home,在某些东西/mnt

从 NFS 挂载点备份时,我们看到 ~=290GB/hr吞吐量。这太糟糕了,考虑到我们有 20 多 TB 需要在 <48 小时的备份窗口内通过。BlueArc 上的额定最大值是700MB/s( 2460GB/hr),磁带设备上的额定最大写入速度是 …

backup tape bacula commvault

7
推荐指数
1
解决办法
6686
查看次数

OS X 服务器大规模存储和备份

我真的希望这个问题不会被视为拖钓或寻求购买建议。这不是故意的。

我刚刚开始为一家小型广告公司(40 名员工)工作。几年前,我实际上已不再担任系统管理员(压力太大!),但是我们目前将 IT 工作外包给的公司做得很糟糕,我感到不得不参与其中并尽我所能改善事物。

目前,公司的所有数据都存储在一个 8TB 外置火线驱动器上,该驱动器连接到运行 OS X Server 10.6 的 Mac Mini,为整个公司提供文件共享(使用 AFP)。有一个备份驱动器,它实际上是一个包含两个以 RAID 0 排列的 3TB 硬盘驱动器的小盒 (arrggghhhh!),有人在何时将其引入并使用 Carbon Copy Cloner 复制所有数据。这就是整个基础架构,以及整个备份和恢复策略。我彻夜难眠。

我刚刚开始使用 FreeBSD、ZFS、稀疏包和快照发送来增强备份过程,以获取异地所有内容。我认为这是一个可行的幕后解决方案,但对于人们的日常使用,我很挣扎。

考虑到数据的数量和重要性,我认为我们真的应该着眼于企业级存储解决方案、高可用性等,但整个公司一直都是 Mac,我找不到可以满足我们需求的设备. 不再有 Xserve;无机架存储;除了看起来不太好的Pegasus R6 之外,根本没有大规模存储;Mac Pro 有光纤通道,但它不是真正的服务器,而且价格高得离谱;Xsan 看起来即将退出;heartbeatd 和 failoverd 之类的东西显然已被删除来自狮子服务器;新的Mac Mini只有霹雳,严重限制了我们的选择;这个清单不胜枚举。我真的,真的不想在这里拖钓。我喜欢 Mac,但我真的不知道我应该在哪里寻找服务器的东西。

我已经考虑过使用 Linux 或 FreeBSD 和 netatalk 来提供具有这些操作系统带来的所有服务器优势的文件,但是我读过的一些内容让我怀疑这是否真的可行。此外,在我自己的(不可否认是非常粗略的)实验中,我一直在努力获得不错的传输速度。我想也有可能让每个人都关闭 AFP 并让他们使用 SMB 或 NFS,但我知道这可能会导致资源分叉和文件锁出现大问题。

我想那里肯定有很多 Mac 公司。如果你是一个系统管理员,你用什么?非常感谢收到任何建议。

backup netatalk file-sharing mac-osx

7
推荐指数
1
解决办法
1745
查看次数

镜像 FTP 站点的更快方法

我目前正在使用wget -m镜像远程 FTP,但速度很糟糕,有什么好的选择(命令)以便我们可以并行下载以提高速度?

linux ubuntu backup mirror ftp

7
推荐指数
2
解决办法
2万
查看次数

具有许多重复文件的备份文件

我经常需要备份一组文件,其中有许多子文件夹,其中包含几个大的、相同的文件。

是否有压缩方案(.zip、.7z 等)可以自动检测到这种情况并且不会多次存储相同的文件?

backup compression

7
推荐指数
2
解决办法
4187
查看次数

Hadoop HDFS 备份和灾难恢复策略

我们正准备实施我们的第一个 Hadoop 集群。因此,我们从四节点设置开始。(1 个主节点和 3 个工作节点)每个节点将有 6TB 的存储空间。(6 x 1TB 磁盘)我们采用了 SuperMicro 4 节点机箱,以便所有四个节点共享一个 4U 机箱。

我们现在正在研究如何备份此解决方案以进行灾难恢复。(考虑机架或站点丢失,而不是驱动器丢失)最好的解决方案似乎是集群到集群的复制。虽然我也读过有关人们将数据复制到 NAS 或 SMB 共享的信息。此外,我们将通过传统备份方式备份主节点。我只关心 HDFS 数据。以下是我的问题:

1)对于集群到集群的复制,我可以设置一个具有大量存储空间的单节点集群作为我的异地副本吗?我不关心它的性能,只关心它的存在和保存整个数据集的能力。(恢复时间不是问题,因为该集群不是关键任务)是否可以安排副本使其每天只运行一次,等等?

2)对于 SMB 或 NAS 选项,这是如何工作的?目标盘需要格式化HDFS吗?我是否需要完整备份三个工作节点中的每一个?或者是否有一些智能脚本可以在没有奇偶校验的情况下备份数据集?我对这个解决方案不是很熟悉,只在网上看到过对它的引用。我在查找资源或信息方面运气不佳。

我也对 Hadoop HDFS 的任何其他 DR 选项持开放态度。我们的目标是获得 HDFS 数据集的完整副本,以便我们可以使用它从机架或站点丢失中恢复。

谢谢!

backup disaster-recovery hadoop hdfs

7
推荐指数
1
解决办法
5974
查看次数

备份具有重复性的远程目录

是否可以将远程目录备份到本地路径?

在命令中使用两个 URL 会引发

Two URLs specified.  One argument should be a path.
Run Code Online (Sandbox Code Playgroud)

仅使用一个远程但指定full选项引发

--full option cannot be used when restoring or verifying
Run Code Online (Sandbox Code Playgroud)

我试过的看起来像

duplicity full ssh://username@remote:XXXX/home/username /media/removabledrive/
Run Code Online (Sandbox Code Playgroud)

XXXX 是 ssh 的自定义端口。

backup ssh duplicity

7
推荐指数
2
解决办法
1万
查看次数