检测数据损坏，以便我们不备份损坏的文件

Question

我一直在考虑数据完整性，我目前备份了大约 2tb 的数据，并且总是有一年前的数据备份。

我担心的是，如果我们的生产文件服务器上的文件损坏了，没有人会注意到，因为有些文件多年未访问，如果发生损坏，我将备份损坏的文件。

我不确定我应该如何处理这个问题，有没有办法检测数据损坏？或者是存储旧备份的唯一解决方案，以防某些东西损坏而未被注意到？

Answer 1

根据我的经验，每种文件类型都需要进行自己的检查，以确定某些内容是否确实已损坏。数据的核心只是点和划，决定“损坏”的完全取决于文件。您需要确定哪些文件类型最重要，然后确定是否可以合理地创建检查文件类型一致性的自动化。这将是一项艰巨的任务，因为文件类型规范会随着时间的推移而变化，并且您会遇到无法通过编程方式轻松确定损坏的专有格式。

此外，数据损坏只是问题的一部分。有时文件从人的角度来看可能是错误的，但从数据结构的角度来看是一致的。如果有人错误地编辑了文件 - 从损坏的角度来看，数据没有问题。

最终，您需要与业务领导坐下来确定对公司最重要的数据资产是什么。然后确定需要保留多长时间以及召回级别。他们是否想要细粒度的时间点恢复到过去四年？也许仅适用于某些文件而不适用于其他文件？

考虑到您只有 2TB 可以备份，使用 LTO4 盒式磁带的 GFS 磁带备份方案可以让您以相对较少的磁带回溯多年。当然，这完全取决于数据流失。如果你有很多忙碌的部分，那么你会有更多的磁带。尽管如此，2TB 仍然是一个相对的问题，LTO4 甚至商用磁盘存储都会为保留几年的数据而打哈欠。

保护数字资产并非易事。把 Tums 放在手边。