标签: archive

在 Linux 服务器上备份 TB 和大量静态文件的备份解决方案?

您会使用哪种备份工具或解决方案来备份生产 Linux 服务器上的 TB 级文件和大量文件?
请注意,这些文件都是不同的,几乎从未被修改过,而且用途主要是添加文件,因此目前的数据量为 3TB,一直以每天 15GB 左右的速度增长。

请不要回复rsync。基本的 unix 工具是不够的,rsync 不保留历史记录,rdiff-backup 有时会严重失败并破坏历史记录。而且这些都是基于文件的备份,这会花费大量的 IOwait 来浏览目录和查询 stat()。但我想,除了R1Soft CDP,没有办法解决这个问题。

我们尝试了 R1Soft CDP 备份,这是块级备份,事实证明它对于我们所有其他服务器来说都是良好且高效的,但在具有 3 TB 和无数文件的服务器上系统性地失败了。R1Soft 和数据中心的工程师们已经玩了两个多月了……除了定期 rsync 之外仍然没有备份

我们从未尝试过大型商业解决方案,除了 R1Soft CDP,因为它是由托管我们服务器的数据中心作为可选服务提供的。

linux backup archive cdp

5
推荐指数
1
解决办法
3712
查看次数

归档软盘的最佳方法?

我有一张或 2 张软盘,我想保留很长时间,坦率地说,我很惊讶它们能保存这么久。我想在硬盘上制作一个副本,如果需要,我可以用它来重新创建软盘。对于具有 ISO 格式的 CD,软盘是否有类似的内容?

如果我使用 Linux,我可能会尝试使用 dd 复制所有磁盘块,但我使用的是 Windows。谢谢。

windows floppy archive

3
推荐指数
2
解决办法
3039
查看次数

电子邮件归档

我的公司一直在寻找一种方法,以可搜索且可靠的设置归档所有传入和传出的电子邮件。我们正在运行一个非常标准的 Exchange 2003 设置,带有第三方垃圾邮件过滤器。我最感兴趣的是与我们的垃圾邮件过滤器一致的东西,它可以在通过垃圾邮件过滤器后捕获所有电子邮件。

有没有人有这方面的经验,或者有没有我可以尝试的开源产品?

提前致谢。

exchange-2003 archive

3
推荐指数
1
解决办法
254
查看次数

无需购买完整的归档系统即可归档旧文件

我有一个包含大约 2TB 数据的大型 Windows 文件服务器,其中大约一半已经超过 2 年(基于修改日期)。使用脚本或其他方式归档旧数据的最佳方法是什么,但又无需在完整归档 (HSM) 系统上花费大量资金?

目的是减少备份窗口,因为所有旧数据每周都会备份,而实际上它永远不会改变,并且备份频率可以低得多,从而减少磁带需求。

顺便说一句,存档将在另一个磁盘上,具有只读权限。

有没有人实现过类似的东西?用户如何轻松访问档案?

windows backup archive

3
推荐指数
1
解决办法
6685
查看次数

在linux上递归地归档文档树中的小文件?

给定一个基本目录(例如/home/user),是否有一个可以运行的命令来创建一个存档来备份该目录及其子目录中的所有文本文件(即小于 100kb 的文件)?我知道你可以 tar/gz 一个目录 - 但是排除文件怎么样?

这个想法是,大多数照片、视频和其他大文件将被忽略,而所有重要的手写文档在项目和服务器之间移动时可以轻松快速地备份。

更新

使用 Skinp 的出色代码,我能够备份少量文件。然而,正如 DerfK 指出的那样 - 您可以传递给命令的参数大小是有限的。考虑到这一点,我能够写出内容,find希望我可以使用某些东西来读取内容tar并绕过此限制。另一个选项似乎是一个 sh 脚本,可以一次将每个文件添加到存档中。

find /home/username -type f -size -100k > list.of.small.files.txt
Run Code Online (Sandbox Code Playgroud)

生成了一个 6MB 的文件。

linux files archive

3
推荐指数
1
解决办法
449
查看次数

在 USB 驱动器上存储 100k 文件的最佳文件夹结构

我需要在 USB 驱动器中存储 100k 个文件(大约 40GB)。每个文件都有一个唯一的 int id(例如 45000)。

选项一是将所有文件放在一个文件夹中:

root/
root/1.pdf
root/2.pdf
root/3.pdf
...
root/567.pdf
root/568.pdf
root/569.pdf
...
root/10001.pdf
root/10002.pdf
root/10003.pdf
...
root/99998.pdf
root/99999.pdf
root/100000.pdf
Run Code Online (Sandbox Code Playgroud)

选项二[1-9][0-9]*根据该 id创建文件夹层次结构:

root/
root/1/file.pdf
root/2/file.pdf
root/3/file.pdf
...
root/5/6/7/file.pdf
root/5/6/8/file.pdf
root/5/6/9/file.pdf
...
root/1/0/0/0/1/file.pdf
root/1/0/0/0/2/file.pdf
root/1/0/0/0/3/file.pdf
...
root/9/9/9/9/8/file.pdf
root/9/9/9/9/9/file.pdf
root/1/0/0/0/0/0/file.pdf
Run Code Online (Sandbox Code Playgroud)

哪个选项会更好地扩展?我可以理解第二个选项将需要大量文件夹,但每个文件夹最多包含 10 个文件夹和 1 个文件。维护不会成为问题,因为一切都将由应用程序控制。

请注意,这是 linux 上的 USB 驱动器,基于上述内容,我还想知道我应该使用 FAT32 还是 NTFS。

linux filesystems directory usb archive

3
推荐指数
1
解决办法
518
查看次数

归档来自 Twitter 的推文

所以我刚刚结束了 IT、图书馆档案管理员和我工作的大学新闻学院之间的会议。出现的一件事是我们的校园报纸将采用新媒体形式,他们将要做的事情之一是推特。由于这是官方出版物,因此应存档。

有没有人知道一种工具可以将帐户中的所有推文以及对该帐户的直接消息和@reply 存档?

我们可能会决定这超出了存档的范围,但现在我要弄清楚这一点。

archive twitter

2
推荐指数
1
解决办法
272
查看次数

Linux - 将备份分成两步

我使用创建了一个 tarball tar zcf arhive.tar.gz dir/,这可以正常工作。现在我想把它分成两个简单的档案,一个只用于图像,另一个 - 用于其他所有内容。

似乎没有一种简单而干净的方法可以做到这一点。因为tar我只能排除文件,排除除 gif、jpg 和 png 之外的所有扩展名是不合理的。

要包含我必须使用find-exec| xargs. 这有点工作,但如果文件名有空格或特殊字符(撇号,引号),则会中断。所以现在我必须将所有文件名输入管道,awk然后手动转义它们?

我错过了什么?为什么这么复杂?

我只是想 tar zcf archive-images.tar.gz dir/ --match-only=*.png

linux backup bash archive tar

2
推荐指数
1
解决办法
104
查看次数

我如何列出 tar 文件的内容

我试着-t像那个人说的那样使用,但它只是等待。

例子

$ tar -t archive.tar 
 (nothing)
Run Code Online (Sandbox Code Playgroud)

archive tar

1
推荐指数
1
解决办法
215
查看次数

«tar: 不能同时指定 -x 和 -t» 的任何原因?

问题主要是出于好奇…… - 考虑到 tar 无法在不阅读整个(有时是巨大的)文件的情况下列出内容,这有点奇怪和尴尬的限制。

archive tar

-5
推荐指数
1
解决办法
954
查看次数

标签 统计

archive ×10

linux ×4

backup ×3

tar ×3

windows ×2

bash ×1

cdp ×1

directory ×1

exchange-2003 ×1

files ×1

filesystems ×1

floppy ×1

twitter ×1

usb ×1