私有云的AWS S3替代方案

Question

现在我们需要从AWS迁移到私有数据中心.我们需要找出潜在的替代存储而不是AWS S3.目前S3以下列方式使用:

• 总存储容量为10TB;
• 最小/平均/最大物体尺寸为0.5/2/100 Mb;
• 我们有N个App实例同时写入/读取
  对象大约50次写入/秒,30次读取/秒;
• 该存储应该是冗余的(高度可用),容错,可扩展;

天真的实现可以将这些数据存储在:

• 简单的NFS存储并添加一些复制功能;
• 只需将提到的对象存储在NoSQL DB中(例如Cassandra中).但是,Cassandra需要许多实例来支持这种存储(也不建议存储> 1TB pn 1 Cassandra节点Cassandra容量规划)

您会为这种情况推荐什么解决方案？

Answer 1

如果您想拥有私有云存储，那么使用MinIO是您的最佳选择。它与 AWS S3 兼容，这意味着使用 AWS S3 的应用程序可以无缝迁移到 MinIO。他们有一个如何使用 AWS CLI 连接 MinIO 服务器的教程。您可以针对公共托管的 MinIO 服务器https://play.min.io:9000对其进行测试。请参阅AWS CLI 和 MinIO Server。

您可以使用 MinIO 分布式设置拥有高度可用的存储系统。请注意，动态扩展不是 MinIO 分布式设置的功能。如果您想扩展集群，您最终会使用所需数量的服务器/磁盘旋转一个新集群，然后必须将数据从旧集群迁移到新集群。

我发现它比 HDFS 更容易使用。除此之外，Hadoop生态系统之外还有很多技术缺乏HDFS集成。例如，DockerRegistry缺乏内置的HDFS存储驱动程序。但是，它有一个 S3 驱动程序，因此您可以使用 MinIO 作为对象存储。

Answer 2

如果您需要对象存储，我可以推荐椭圆（英文）。据我所知，它对磁盘存储没有限制。

对于 Cassandra，我们使用 SSD 磁盘（为了获得更好的性能）< 200-500 Gb。环的大小取决于您的要求（读/写延迟、复制率、生命周期）。

50 次写入/秒，30 次读取/秒

这对于 Cassandra 来说确实非常容易，因为我可以与我们的设置进行比较。在这种情况下，它更多地取决于您的对象的生命周期。

一般来说，如果是分布式网络，您还可以查看GlusterFS。