如何存储和保存大量数据？

Question

我有很多带电影和游戏的 DVD，它们越来越旧，灰尘越来越多，其中一些已经损坏。我的 PC 中有超过 300 GB 的常规文件。我想存储和保存我的所有数据并长期保存它们。

我想知道什么是我应该使用的最好和更可靠的存储介质，并且...我可以购买。
我会将我所有的 DVD 复制到新媒体上，然后将我所有的 DVD 都扔掉。它将占用非常小的物理空间。

我认为我需要存储的所有内容目前都是 800 GB。

我不喜欢光盘，因为它们很脆弱，而且我丢失了很多 CD 和 DVD。
硬盘驱动器会很好，但它们可能会突然停止工作，并且从损坏的硬盘驱动器中恢复数据非常昂贵。

其他问题：
我需要多久将文件复制到新的存储介质？
将每个文件的另一个副本存储在另一个存储介质中是否是个好主意？

编辑：
如果我把所有的电影和游戏都放在一个硬盘中，如果硬盘停止工作，我将失去一切。
这就是它们对我的价值所在：如果我失去 10%，我不会哭，因为我可以得到新的，但如果我失去 90%，那将是一场灾难。

编辑 2：
即使我付费，我也不认为在线存储是可靠的，因为它们可能会被关闭或可能会破产。他们不是来自我的国家，很难取回文件。

Answer 1

简单的答案是：多个副本。无论您做什么，都不要相信任何单一的媒体、位置或服务。

就个人而言，我目前使用外部（USB 连接）硬盘进行备份。一个 2-3 TB 的驱动器可以非常便宜地采购，不仅可以为您提供足够的存储容量，而且还可以满足任何合理的未来需求。它的物理尺寸大约相当于一本大平装书，无需进一步压缩即可轻松容纳 200-300 张电影 DVD 的内容。如果您有疑虑，请购买两个或三个，最好是其中一个来自完全不同的制造商（例如，可能希望将希捷和西部数据混合使用，因为它们不太可能使用具有完全相同设计或制造缺陷的磁盘），并且至少将其中一个放在物理上分开的位置 - 银行保险箱是一种相对便宜的替代品，它也可以为您提供物理安全，但即使只是在工作或朋友家中保留一份副本，也几乎总是一样有效。如果您可以安排能够在不将其带到您自己的位置的情况下刷新异地副本，那就更好了。如果任何内容对隐私敏感，请在计划如何处理场外副本时牢记这一点。

还请记住，您正在谈论的数据量（300 GB 算作或多或少“不可恢复”，另外 500 GB“很好保留”，但在紧要关头，您可能可以从其他来源获得，例如二手电影 DVD）并不是那么多。我目前总共有大约 100 GB 的数码照片，并且在一天之内添加大约 10-15 GB 对我来说并不难 - 我已经在几次参加活动时这样做了有理由拍很多照片。这些照片中的许多在各种方面质量有问题，许多是平凡的（很高兴拥有，但在紧要关头，没有什么是真正的特别是他们），但从内容的角度来看，其中一些实际上是不可替代的，而且实际上质量也很好。但是，出于备份目的，我以相同的方式对待它们：多个副本。我的几个硬盘驱动器出现故障，虽然有几次我丢失了我真的很想保留的数据，但总体而言，此策略意味着我可以将最新的备份恢复到新驱动器并在我的快乐的方式。如果 Live Copy 失败，则将备份恢复到替换的主驱动器；如果备份驱动器出现故障，请更换备份驱动器并进行新备份。

如果您也使用多种存储介质，请记住不断检查每个存储介质是否有降级迹象。在驱动器上的所有文件上运行 SHA1 哈希并比较结果，以及将哈希列表本身存储在多个位置，这是相当快速和容易的。这样，即使您在某个时候遇到读取错误，您也可以确定哪个副本是“好”的。

Answer 2

您必须考虑备份的数据对您的价值。我会把它分成至少两类：

1. 不可替代
2. 想保留，但如果数据丢失也不会伤心。

战略

对于类别 1：我建议使用一种流行的在线存储系统（Amazon S3、Dropbox 等）。在这里，您需要花钱请人来帮助您管理备份，并确保长期访问和更轻松的访问。否则，请遵循第 2 类的建议并确保存在正确的数据冗余并小心谨慎。假设它占 800 Gb 总量的较小百分比。

对于第 2 类：您可以决定投入多少存储费用和在线上传数据的时间。出于这个原因，我什至建议您使用大硬盘来备份所有数据，并存储与 PC 断开连接的驱动器，并注意它与支持当前技术（例如 SATA）的 PC 相关联的生命周期。然后你可以在未来将数据移植到新的驱动器/新技术。1 TB 或 2TB 硬盘价格合理，可以满足您现在和短期内的数据需求。

冗余

具有相同数据的多个驱动器将成为您的冗余，如果您真正关心数据安全，它们甚至可以“异地”存储。

安全

作为一项附加功能，如果您试图保护数据免受未经授权的访问，请在在线上传和/或存储到 HDD 之前对其进行本地加密。像TrueCrypt这样的东西将是理想的

Answer 3

首先，考虑可能会丢失数据的方式，并决定要防止哪些方式。一些例子：

• 不小心删除了一些东西
• 硬盘死机
• 软件或硬件错误
• 恶意软件
• 盗窃
• 火
• 自然灾害（火灾、洪水、地震、火山、闪电等）
• 政府扣押

在我的生活中，我丢失了大量数据，但仅限于该列表中的前两个原因。

硬盘很紧凑，可以容纳大量数据，一直在变大，随时可用，不需要特殊设备即可使用，便宜，而且越来越便宜（尽管泰国洪水泛滥）。

我将所有数据一一驱动；第二个 USB 驱动器保存定期自动备份；第三个相同的 USB 驱动器位于异地（在工作中，或者在保险箱中是好的）。我每个月都会将当前的备份驱动器带到异地位置，然后将另一个驱动器带回来。

所有存储介质都会衰减；确保您的数据良好的唯一方法是使用它。作为每月例行程序的一部分，我选择一个任意文件并从我的备份中恢复。

Answer 4

我和你遇到了同样的问题，并且努力寻找解决方案。许多 NAS 驱动器都有 2 个硬盘托架..我想要更多..但它总是有很大的价格标签..

但后来我发现了这个！ ^{演示模型已被正弦原始帖子取代}

• 4 个 SATA-2 BAYS（非热插拔）最大 8TB（改装可以提供更多空间）
• 1 个 SATA ontop 用于在 DMA33 上运行的 CDROM/系统硬盘
• 背面的 ESATA
• 前面有 4 个 USB！2 背面
• USB INSIDE（门所在的位置-因此您可以启动USB驱动器而不会将其伸出）
• 8GB 最大 DDR3！
• 硬件嵌入式 SATA RAID 0/1^{但您应该改用 ZFS}

产品规格表

我以 100 英镑的价格购买了我的（有 HP 交易），但正常价格是 200 英镑 - 仍然是许多其他 NAS 的半价......而且！它是一个成熟的处理器！1.6Ghz Dual Core AMD（使用低功耗的特殊类型）

我简直不敢相信我那该死的眼球！

然后呢？这是什么

我转到FreeNAS并安装了 freenas7 - 我知道 FreeNAS 8 已经过时了..但它似乎在消耗内存..但是 ZFS 驱动程序在它上面分配得更稳定和更快..所以选择是你的。

我安装了 4x1TB 并在ZFS上使用了类似于 RAID-5 的RAIDZ （HP 服务器也有硬件 raid(0,1)。

所以我得到了 3TB 的存储空间和 1 个冗余硬盘驱动器（RAID-5）

我忘了提到它有一个完整的 PCI-E 插槽吗？（低调）这是 MB 的潜行高峰和直接在主板上的漂亮 USB 插件

改装

• 您最多可以在此处安装 6 个 3.5" 驱动器。为 DVD 托架使用纤薄的光驱/3.5" 驱动器适配器，然后在 HP 光锥后面安装另一个，稍稍做一些dremel 工作。

• 好的，如果这还不够……那么 19TB 怎么样？

• 我让我自己很兴奋，我开始写我自己的仪表板，希望有一些关于如何在这里设置uber freenas 服务器的教程。

-编辑 2012 年 8 月

我发现这篇文章有一节介绍了如何破解 BIOS 并启用额外的 CD-ROM 端口以 1.5GB 的 SATA 运行！- 是的！我做到了，而且效果很好。

-编辑 2017 年 10 月

从那以后，我们拥有了微服务器的 Gen9 和 Gen10 - 从这篇文章开始，我仍在使用原始配置..是的..仍然很强大，对它很满意。

现在是时候投资一个更新的 MicroServer 并使用 ZFS RaidZ-2 获得 4 个 3TB 驱动器（2 个冗余驱动器总共使用 4 个驱动器）目前只使用 RaidZ-1，它没有完全针对 4 个驱动器进行优化，但它已经对我来说很好 5 年多了 :D

Answer 5

好吧，如果您对保存数据很认真，我建议您用便宜的计算机部件构建两个NAS设备。硬件不必非常先进，只需能够访问 Terrabyte SATA 驱动器即可。您可以使用多种 UNIX/Linux 版本之一或旧的 Windows 版本作为操作系统。然后将您的 DVD 和磁盘文件加载到本机上，然后将其复制到另一台。根据您的偏执程度，您必须每天、每周或每月一次以某种方式使两个系统彼此同步。

这比磁带或蓝光更好，因为数据随时可用，并且您将有两个副本。偶尔，您将不得不扫描 NAS 硬盘并决定是否需要更换它们，因为硬件确实出现故障。

Answer 6

我已经多次重复相同的想法，但最终结果总是相同的。

随着时间的推移，CD-R 从来没有让我失望，一张好的 CD 甚至会变坏，数据大部分时间都在那里。低密度。DVD-R虽然不是这样，即使是非常好的刻录，数据的密度也很高，因此它失败的可能性更高。质量较差的光学介质是塑料（如），所有塑料都会变得更脆，无论用什么材料将它们固定在一起，最终都会失效。即使是高质量的光学元件，经过很长时间后也会开始出现分层迹象。. . . CD 会成功，但它太小了，而且 DVD 太挑剔（及时），对我来说这不是一个选择。考虑将您最有价值的图片以 2X 格式复制到一些质量非常好的 CD 上，并且刻录速度非常慢。它们将比您的喷墨打印持续更长时间:-)

Blu-ray-R, Burned Blu-rays :-) 我什至不必考虑，数据密度要高得多，一些商店购买的“Glass mastered”蓝光在它们存在的短时间内就出现了故障。只有一个指纹。烧了，很多用户发现自己的蓝光烧伤，根本就没有持续时间，更不用说10年了。

磁带，得到了一大堆磁带，妥善保存这些东西确实可以使用 10-20 年。如果有人想告诉我在哪里可以获得这些磁带所用的 Frilling 磁带单元，我什至可以访问他们的数据，假设它使用与 15 年前相同的读取模式。磁带的变化、磁带尺寸的变化和磁带机的变化。我存储在它上面的媒体没有 :-) 如果我继续煞费苦心地将这些数据移动到任何有用的地方，现在它就像有线录音一样有用:-)

云端？不是我的选择。虽然他们会冗余我的冗余。这不是他们的数据，让他们关心 :-) 通常你也同意他们现在拥有数据，你同意他们拥有你的数据的程度可以包括他们拥有它。今天我的数据在那里，明天它被某人或一个死链接买断:-) 只是跟上 TOU 的变化，比我自己转移它更难。添加带宽上限、数据量和速度不足。不会发生在我身上。

硬盘。

1) 没有什么是永恒的，如果我必须不断地弄乱它才能让它活着，而且我不会按小时支付自己的工资:-) 来处理它。如果它移动 50MB/s 而不是 3，那就太好了。

2）工作驱动器我自己在硬盘驱动器方面运气很好，通过如此多的传输、数量和使用，还有什么是精确的。只要它没有被启动 4 年，或者处理不当。

3）存储驱动器，我自己在正确存储驱动器与磁带和其他媒体相同的问题上遇到了零问题。我可以在停放 10 年后唤醒它，它的行为没有任何不同。

但是存储比我更多的驱动器并且可能无法正确存储的人可能会在电机上被硬锁。电机停这么久就不会转了。湿度和氧化可能是很大的因素。假设一个人住在靠近咸海的热带雨林中，驱动器不是 100% 密封的。轻微的除湿，或用二氧化硅甚至 O2 去除剂进行主要密封，都会有所帮助。应考虑水分、路膜、烟雾、厨房油脂以及所有其他可能滑入小孔的东西。

我有最好的运气、速度、兼容性和硬盘驱动器的时间，即使其他东西都失败了。它有自己的内置阅读器 :-) 。这只是拥有（至少）2的问题。

我的 2 HD 理论：（不适用于 2 张 DVD）

A) 一个工作，一个留在系统中，被允许活 3-4 年，被监控，受到可能的病毒，“已知”它被监视和使用，电机不能锁定，但它可以随着时间的推移嘶嘶作响。它被维护，更新，我知道它是否开始失败。我只能希望它不会失败，因为他们确实失败了。我尽量不让它们在藤蔓上腐烂。

B) 一个放在盒子里，一个大部分时间都保持旋转，它不会受到旋转时间或磨损的影响，但它也不会停放多年。这第二个硬盘驱动器可以从存储中取出、更新、稍微启动以使其不会锁定，然后检查它的运行情况。是一些方便的外部盒子，或者很好地存放在带有吸附器的静态袋中重新密封，以便长期使用。

每隔一段时间，无论是 1 周还是 1 年，工作驱动器和存储驱动器都可以更新/同步。

这只是让 C) 以任何其他方式存储它。我的系统中只有一小部分具有这种价值。

到目前为止，这是我的计划，没有任何计划（之前），当其他人失败时，这一直是有效的。如果我的其他数据在其他媒体上非常有价值，我会使用更多的方法，并不断地转移它。

无论哪种方法，在所有情况下都是正确的一件事，如果你喜欢它，那么永远保持它将是一种爱的劳动。当他们推出水晶媒体存储时，请确保您也将副本挂在上面:-)

Answer 7

已经说过好几次了：如果不是以两种不同格式制作三份副本，并且其中一份副本应该在场外，那么一切都不存在。

通过这种方式，您可以确保至少拥有一份可读的副本。如果他们拥有专有软件（大多数都有），请不要依赖基于硬件的 NAS等。当硬件崩溃时，您可能再也找不到相同型号的硬件...

我建议你使用简单的 U 盘，但有几个。带一份副本上班，并在家里防止盗窃或火灾（不要将所有鸡蛋放在同一个篮子里）。如果偏执狂采取双份异地。

让磁盘旋转起来，每三到六个月检查一次。你想知道他们是否停止工作。通常磁盘不擅长在坏之前提前警告。SMART 真的没那么好用。

我还建议使用 md5sum 或其他一些可以为您拥有的每个文件计算校验和的程序。不时检查这些哈希和。如果文件已损坏，则校验和将不匹配。然后你就知道并可以采取相应的行动。如果没有校验和，文件将在您不知情的情况下损坏。您认为这些文件没问题，但事实并非如此。

如果真的偏执，不要只依赖 NTFS、FAT32、HFS+ 或其他文件系统格式。使用几个。谁知道当您将来想要查找旧文件时，您可能不再拥有 Windows PC。在这种情况下，您还应该考虑以多种格式制作电影。

冗余，冗余，冗余并在发生错误时进行检测！