标签: archive

如何使用正则表达式从 TAR 存档中排除文件?

我有一个简单的问题,但我无法找到或解决答案。我想制作一个 tar 存档,但我想使用正则表达式从中排除一些文件。

要排除的文件示例如下: 68x640X480.jpg

我试过这个没有运气:

tar cvf test.tar --exclude=[0-9]+x[0-9X]+\.jpg /data/foto
Run Code Online (Sandbox Code Playgroud)

有人可以帮忙吗?

linux archive regex tar

11
推荐指数
1
解决办法
2万
查看次数

关于存档解决方案的一般建议。~15tb 并且还在增长。

我需要一个更好的存储和归档系统来存放我的小型企业的文件。具体来说,这些文件是已完成的视频项目。除了时间和成本限制之外,阻碍我的是我不相信我考虑过的任何解决方案。因此,我正在列出问题和我的想法。我将不胜感激任何意见。

预算: 我相信花它所需要的。话虽如此,我们是一家小企业。我希望我能以 <5k 和更多的 1-3k 摆脱这种情况。那可能是白日做梦。就这么告诉我吧。

问题:

  • 原始视频文件的文件大小很大。到目前为止,我们已经积累了大约 10+tb,而且还在快速增长。
  • 视频编辑需要对文件进行快速读/写访问,因此中央或基于云的文件服务器速度不够快。因此,我们可能需要针对旧项目的实现解决方案,而当前项目将不得不留在本地。
  • 我们想要某种冗余和异地解决方案。

我们目前在做什么:

  • 我们使用大型、高质量的外置硬盘。
  • 我们总是成对购买并手动复制内容。换句话说,我们处理一个文件,并将文件复制到另一个用作备份/回退。
  • 这些 HD 使用 firewire800 或 USB3 速度足够快,可以直接使用。
  • 一旦填满,我们就把这对放在一边。

当前解决方案有什么问题:

  • 尽管数据跨两个驱动器复制,但这些驱动器并未“备份”或异地存储。
  • 跨这么多外部 HD 进行组织是很困难的。什么项目在什么驱动器上?等等。
  • 最终,我们将拥有数量惊人的硬盘。
  • 复制不是 RAID。

选项:

本地服务器

  • 购买机架式服务器和机架式硬盘驱动器阵列机箱,如 Norco (SAS)(20 个托架)。
  • 所有视频文件都将存储在此服务器上。我们可以安装并支付云服务来备份这台计算机/服务器。CrashPlan 适用于 Linux,对数据量没有限制。硬盘驱动器将是连接到服务器的物理驱动器,因此我们绕过了像 CrashPlan 这样的公司所拥有的“无 NAS”规则。它不是个人计算机,因此同步可以 24/7/365 运行。这将解决异地问题。
  • 我们可以编写一个脚本来将这些文件同步到 Amazon Glacier 账户,而不是使用像 CrashPlan 这样的在线备份服务。
  • 对于当前项目,视频可以从外部硬盘驱动器上偷看,但必须在完成后将项目放在这台新计算机上。换句话说,继续为当前项目使用外部硬盘驱动器并将归档项目存储在此服务器上。

基于云的备份服务(CrashPlan.com、BackBlaze.com、Carbonite.com)

  • 通常只允许您备份物理连接到计算机的外部硬盘驱动器。(没有 NAS 或网络驱动器)。
  • 通常,他们希望备份的外部驱动器与您的计算机保持连接,并且所有数据都保留在驱动器上。如果几个月没有连接外部硬盘驱动器,备份会怎样?如果您通过删除旧项目来清理空间,它们也会从在线服务中删除。
  • 要求我们的用户将外部硬盘驱动器连接到他们的计算机,直到所有数据都在云端。对于一个大项目,这可能需要数周时间。
  • 由于互联网传输速度的原因,恢复项目会非常缓慢。
  • 这些云备份帐户通常特定于一个用户/一台计算机。因此,如果硬盘驱动器由一个用户备份。然后第二个用户在该项目上工作,这意味着什么?

一个大 NAS

  • NAS 是“网络区域存储”。您可以插入尽可能多的硬盘驱动器。它会袭击他们。您可以通过网络连接或 USB3/Firewire 访问它。
  • 大多数都有一个操作系统。所以你不能运行其他软件,比如基于云的备份服务。您也不能进行任何定制或运行自己的软件。你得到你所买的。
  • 大型 NAS 非常昂贵,而且并不是那么大。你不会发现超过 4 个托架的。目前一个大的HD是3tb。所以 4bays 的存储空间可能在 <12tb 左右。对未来不太舒服。

其他想法是:

  • 磁带备份。
  • 只需将旧项目直接存档到 Amazon …

hardware backup storage archive amazon-glacier

9
推荐指数
2
解决办法
837
查看次数

哪种存档/压缩格式?

Zip、Rar、7z、Gzip、BZip2、Tar 等。我听说 7z 是本月的流行,为什么?它适用于所有情况还是针对特定情况有更好的选择。

或者也许实际的文件归档程序,即 WinZip、WinRar、7Zip 等(与格式相反)有更大的影响?

在您的回答中,您能否描述您提到的格式使用什么样的速度/压缩权衡。

请提供支持您的答案的任何经验测试的链接。

背景:我需要备份一个自定义搜索索引,该索引创建了大约 3000 个相对较小的文件(小于 10MB),每个文件都包含大量重复数据。

(像往常一样,维基百科有一篇相关文章,但关于性能比较的部分很简短。)

谢谢

compression archive format

8
推荐指数
2
解决办法
6266
查看次数

我应该使用哪种 tar 文件格式?

tar 可以创建不同格式的存档。GNU tar、ustar、pax、v7。什么是最好的长时间存档?这些格式是否存在显着差异?

我会使用最好的格式进行一般备份,我不希望我可以提取数据,因为格式问题。(例如,v7 从实现中消失)

backup archive format tar

8
推荐指数
2
解决办法
3045
查看次数

备份不是归档 - 但是归档有什么要求?

关于如何处理存档的相关线程。我问的是如何找到公司对归档方式的要求,以及需要满足的要求,以便实际完成归档而不仅仅是备份。

  • 数据应该保存多久
    • 至少?
    • 最多?
  • 法律影响如何(我知道取决于您所在的地区)?
  • 您如何确保从策略/需求的角度进行归档?
  • 您如何确保可以从策略/需求的角度恢复档案?
  • 哪些数据应该归档?
  • ...
  • ...

我正在寻找关于存档的良好推理和可以调整的政策框架,实际上不是回答而是一组问题,这些问题可能会导致某些事情在n几个月/几年/几十年内有效(其中哪些适用)实际上已经是一个问题)

linux backup archive

7
推荐指数
2
解决办法
659
查看次数

是否可以将输入流式传输到 RAR

我正在使用 RARLABS RAR.exe 来存档/备份我的服务器数据。我熟悉使用 RAR 来创建存档和从文件夹添加文件,但是如何将数据直接流式传输到存档中?

例如,在备份我的 MySQL 数据库时,我使用 mysqldump 命令,该命令将管道命令包含到文本文件中。跳过文件步骤并使用以下语法直接进入存档文件会很好:

mysqldump -uUserName -pPassword --all-databases > rar.exe newarchivename.rar
Run Code Online (Sandbox Code Playgroud)

有谁知道我所描述的或类似的东西是否可能?

backup archive rar

6
推荐指数
1
解决办法
3979
查看次数

cpio VS tar 和 cp

刚刚了解到cpio有3种模式:copy-out、copy-in和pass-through。

我想知道在拷出和拷入模式下 cpio 相对于 tar 的优缺点是什么。什么时候用cpio比较好,什么时候用tar?

传递模式下 cpio 与 cp 的类似问题。

感谢致敬!

bash cp archive tar cpio

6
推荐指数
1
解决办法
4518
查看次数

处理张力带老化的 DC600A 胶带的最佳方法?

我可能有大约 200 个 80 年代末和 90 年代中期的 DC600A 四分之一英寸盒式备份磁带。我有 2 个能够读取 DC600A 磁带的驱动器,但这些驱动器正在破坏磁带。起初,我认为这两个驱动器都有问题,但经过数十个小时的调查,我现在确定每个 DC600A 磁带盒中的橡胶张力带因老化而非常脆弱,以至于它们正在折断(然后经常损坏磁带)当驱动电机转动磁带主导轴时。

几件事:

1) 我拆开了几个墨盒,意识到虽然很费时间,但处理乐队并不难。有谁知道我是否可以为这些购买替换乐队并把它们全部修好?

2)如果我手动非常缓慢地移动磁带主导轴,带不会断裂,它仍然会推进磁带 - 读取数据的必要动作。我有什么机会修改 tar、“st”(linux scsi 磁带驱动程序)或其他一些软件堆栈的源代码,这些代码会以隐式或显式方式获取数据以减慢 scsi 磁带驱动器的速度,以便我可以在不破坏张力带的情况下读取数据吗?我猜电机产生的扭矩很可能不受软件控制,如果没有电气或机械干预,我无法防止它撕裂橡皮筋。

谢谢,内特

backup tape archive

6
推荐指数
1
解决办法
974
查看次数

用于存档目的的 SSD?

鉴于闪存的物理特性,SSD 是否适合用于备份等的长期存储介质?它们的衰减率是否可以用于滚动备份(从而避免磨损问题)?

backup storage ssd archive

5
推荐指数
1
解决办法
856
查看次数

PST 文件的个人电子邮件存档替代方案

如果您不愿意或无法阻止用户“永远”保留旧电子邮件,您有什么解决方案?

  • Exchange 2007 允许使用相当大的邮箱,但很多人仍然反对它(虽然不清楚是否有真正的原因,或者这只是一个旧习惯)。
  • PST 文件不应该在网络驱动器上 - 选择似乎是无论如何(我已经做了多年没有任何实际问题)或备份桌面(并不总是一个选项)

还有什么?

笔记:

  • 适用于托管/外包交换设置的解决方案的奖励积分
  • 允许在用户之间共享某些档案的解决方案的加分点
  • 允许通过 Outlook 访问/搜索的解决方案的加分点(添加了编辑
  • 这与合规性无关,我不在乎存档所有电子邮件

email outlook archive

5
推荐指数
1
解决办法
1万
查看次数

标签 统计

archive ×10

backup ×6

tar ×3

format ×2

linux ×2

storage ×2

amazon-glacier ×1

bash ×1

compression ×1

cp ×1

cpio ×1

email ×1

hardware ×1

outlook ×1

rar ×1

regex ×1

ssd ×1

tape ×1