我应该关注Amazon S3上的位翻转吗?

stu*_*uck 5 amazon-s3 amazon-web-services

我有一些我想要保存在Amazon S3上的数据.其中一些数据是加密的,一些是压缩的.我应该担心单位翻转吗?我知道可以添加的MD5哈希头.这(根据我的经验)将防止在交易中最不可靠的部分(网络通信)翻转,但是我仍然想知道我是否需要防止磁盘上的翻转?

Gre*_*ill 12

我几乎可以肯定答案是"不",但是如果你想要更加偏执,你可以在上传之前预先计算MD5哈希值,将其与上传后获得的MD5哈希值进行比较,然后在下载时计算下载的MD5哈希值数据并将其与存储的哈希进行比较.

我不确定你关心的风险究竟是什么.在某些时候,你必须将风险推迟到其他人."损坏的数据"是否属于亚马逊的服务水平协议?据推测,他们知道文件哈希应该是什么,如果他们给你的数据的哈希不匹配,那么这显然是他们的问题.

我想还有其他方法:

  • 使用FEC存储数据,以便您可以检测并纠正N位错误,直至您选择的N.
  • 在Amazon S3中存储您的数据不止一次,可能是在美国和欧洲的数据中心(我认为新加坡也有一个新的数据中心即将上线),具有类似RAID的冗余,因此如果某些数据源消失,您可以恢复数据或者变得腐败.

这实际上取决于您存储的数据对您有多大价值,以及您愿意接受多少风险.