什么设计特性让 Joyent 的 ZFS 和亚马逊的 EBS (S3) 可靠？

Question

我知道这并不完全是苹果与苹果的比较，我要评估的是哪个更安全 - 丢失数据的可能性较小。

Joyent 的 SmartOS使用ZFS来存储数据，而 EC2 机器可以使用Amazon Elastic Block Store (EBS ) 将其数据存储在 S3 上。

我想知道使这两个系统可靠的一些架构细节是什么？我不太确定 S3 的设计是否有多个存储数据的位置。

Answer 1

正如你所说，这并不是一个苹果对苹果的比较（此外，已经达成一致，必须为两者制定适当的数据备份程序，所以我不打算解决这个问题）。因此，这个问题不能这样回答，而是应该了解每个产品的架构细节，并将这些细节应用到手头的特定用例中。

特别是，Joyent 基于ZFS的存储系统是一个本地存储系统，旨在提供运营商级存储和数据可靠性，请参阅数据弹性和可靠性：

我们将 ZFS 置于高性能本地存储子系统之上，以确保您的数据安全、一致且始终可访问和可恢复。ZFS 是一个组合文件系统和逻辑卷管理器，专为池化本地存储而设计 。与为云存储部署的其他文件系统不同，ZFS 的写时复制功能可确保您的映像不会丢失。[强调我的]

相比之下，EBS是一个网络块存储系统，旨在提供高度可用、高度可靠的存储卷，这些存储卷可以附加到正在运行的 Amazon EC2 实例并作为实例内的设备公开，请参阅Amazon Elastic Block内Amazon EBS 卷的功能部分存储 (EBS ) 以获取详细信息，例如：

• Amazon EBS 卷放置在特定的可用区中，然后可以附加到同样位于同一可用区中的实例。
• 每个存储卷都会在同一个可用区内自动复制。这可以防止由于任何单个硬件组件的故障而导致数据丢失。
• Amazon EBS 还提供创建卷的时间点快照的功能，这些快照会持久保存到 Amazon S3 中。这些快照可用作新 Amazon EBS 卷的起点，并保护数据以实现长期持久性。[...]

[强调我的]

后一点强调EBS 不会将其数据本身存储在 S3上，而是通过 S3 提供易于使用的长期持久性备份机制，这意味着您需要在持久性和可用性方面分别评估这两种情况。

部分Amazon EBS Volume Durability进一步详细介绍了此架构：

[...] Amazon EBS 卷数据跨可用区中的多台服务器进行复制，以防止任何单个组件发生故障导致数据丢失。卷的持久性取决于卷的大小以及自上次快照以来更改的数据百分比。[...]

由于 Amazon EBS 服务器在单个可用区中复制，因此在同一可用区中跨多个 Amazon EBS 卷镜像数据不会显着提高卷持久性。但是，对于那些对更高的持久性感兴趣的人，Amazon EBS 能够为您的卷创建时间点一致的快照，然后将这些快照存储在 Amazon S3 中，并在多个可用区之间自动复制。[...]

[强调我的]

因此，虽然 EBS 仅将数据存储在一个可用区中的多台服务器上，但 S3 提供了额外一英里的物理基础设施分离，请参阅可用区之间的隔离程度如何？：

每个可用区都在其自己物理上不同的独立基础架构上运行[...]。发电机和冷却设备等常见故障点不会跨可用区共享。此外，它们在 物理上是分开的，因此即使是非常罕见的灾难，如火灾、龙卷风或洪水，也只会影响一个可用区。[强调我的]

这产生了声称的 99.999999999% 的持久性，如Amazon S3 的持久性如何？并在Amazon S3 如何设计以实现 99.999999999% 的持久性中进一步详细说明？：

Amazon S3 将您的对象冗余存储在 Amazon S3 区域中跨多个设施的多个设备上。[...] 在处理存储数据的请求时，该服务将在返回 SUCCESS 之前在多个设施中冗余存储您的对象。[...] [强调我的]

请注意，可用区仍受单个区域的限制（有关此架构的详细信息，请参阅使用区域和可用区），并且它们已经发生了各自的事件，引发了关于区域和/或提供者冗余是否可行的讨论以获得最大的可靠性（请参阅下面的中断）。

最后，第Amazon S3的数据一致性模型在Amazon S3的概念提供了更多的细节如何亚马逊S3亚马逊的数据中心中复制跨多个服务器的数据实现高可用性。

停电

这两项服务过去都至少发生过一次重大中断——各自的事后分析提供了对每个系统设计的额外洞察，并允许您在备份和可用性策略中相应地考虑到这一点：

• Joyent -进一步的 Strongspace 和 BingoDisk 更新
• Amazon -美国东部地区 Amazon EC2 和 Amazon RDS 服务中断的摘要
  • 部分EBS系统概述采用了EBS架构的精辟总结

后者的中断引发了很多关于一般云计算可靠性的讨论，这有趣地引发了Joyent 博客上的文章Magical Block Store: When Abstractions Fail Us，探讨了两种方法之间的差异并解释了 Joyent 各自的架构选择（包括对以前失败的尝试）；虽然这篇文章显然可能被认为有偏见，但它仍然应该让您依次得出自己的结论。