标签: cloud-storage

有没有人遇到过接近 100% Amazon S3 RESTful API 兼容的对象存储系统？

我所追求的是一个位于任何（最好是 POSIX）文件系统之上的层，它提供 Amazon S3 风格的 RESTful API 来存储 ( PUT)、检索 ( GET)、统计 ( HEAD) 和删除 ( DELETE)，并具有适当的身份验证。

也欢迎商业项目/想法。

笔记：

到目前为止，我已经尝试过Eucalyptus和Cumulus；其中 Eucalyptus 似乎盲目地称自己为 S3 兼容。响应 XML 文档根本不兼容，并且在某些地方不完整，根本没有 XML 文档。Cumulus 设法使响应文档保持非常相似，但似乎忘记了数据完整性！

让我解释后一部分：Eucalyptus 和 Cumulus 都不支持 Amazon S3 提供的完整性验证。您可以使用 S3 做的是，您可以提供 Base64(MD5(FILE)) 以及 PUT 请求，然后在 S3 成功响应之前对其进行验证。Eucalyptus 和 Cumulus 不支持这一点。有了 Eucalyptus，我们至少可以通过检查响应文档中给出的 MD5 来解决这个问题（不是 S3 兼容的行为）。在 Cumulus 中，这是不可能的，因为它不响应任何东西（如 S3）。由于未在HEAD请求中提供ETag，Cumulus 使情况变得更糟。

我正在考虑使用云服务来备份我客户的网站之一。

我（客户）的主要关注点是（按重要性降序排列）

1. 保护知识产权（商业秘密、源代码）、用户帐户详细信息等
2. 服务提供商提供的正常运行时间保证（以最大限度地减少网络服务器停机时间）
3. 成本
4. 上传/下载速度

理想情况下，我想要没有长期联系的服务（即我更喜欢一种“现收现付”服务）

我还想避免供应商锁定，因为几乎不可能转移到其他服务。

我想要一些关于以下方面的一般准则：

1. 如何选择服务提供商
2. 谁是该领域的主要参与者
3. 推荐软件用于：备份/恢复/和上传/下载保存/恢复的文件

服务器软件要么是 Ubuntu 要么是 Debian（我可能会发布一个关于将哪个操作系统用作服务器的问题 - 我已经熟悉 Ubuntu）

所以我要直接进入数学；我的网络主机提供了一个带有 5x2TB 驱动器的服务器，不计量的 1GB/s 连接，可以在 5 个不同的数据中心配置服务器，每月约 200 美元。

如果我有 3 个这样的服务器并在它们上面安装 OpenStack Swift，我有大约 10TB（我知道它会比这少，但为了保持数学简单，我只说 10TB）的存储具有与 Rackspace Cloud 相同的功能但 0.058 美元/GB（与 Rackspace 的 0.15 美元/GB 相比）。加上免费的无限带宽。可以在 3 个不同的 DC 中配置服务器以实现冗余和扩展新服务器在一个小时内处于活动状态，因此我们可以在需要时合理快速地扩展我们的存储。我们还将使用 CDN 来交付内容，所以是的，会产生带宽费用，但它们是外部的，因此与问题无关。

显然，只有在处理大量存储时才会更有效（例如，2GB 的效率要低得多），但我们在 RSC 文件帐户上有 7.5TB 的备份，因此我们每 GB 的有效价格为 0.078 美元（但这会降低）相比之下，我们目前的 Rackspace 系统每月超过 1000 美元。

所以我的问题是，除了必须管理我们自己的服务器并在扩展上付出更多努力之外，自我管理的存储系统和 Rackspace 云之类的东西有什么区别，它是否值得 $/GB 差异+带宽费用？

因为我的问题而有些困惑，所以为了简单起见：

“大型云提供商使用什么样的存储，为什么？”

据我了解，但我无法在典型数据中心和云之间找到任何官方存储网络差异，所有云提供商都使用不同于典型数据中心的 DAS。

甚至 DAS 也比 SAN 或 NAS 有许多缺点，我想了解为什么云将 DAS 用于存储或应用程序的详细信息。

任何资源或描述将不胜感激，让我清楚。

编辑：在阅读论文“大规模云构建的网络挑战和结果方法，David Bernstein 和 Erik Ludvigson（思科）”时，他们提到，

奇怪的是，我们没有看到使用 NAS 或 SAN 的主要提供商的云。典型的云架构使用 DAS，这不是典型的数据中心存储方法。

但是这里有一个冲突：在我看来，并且在本文后面也有说明，云应该使用 SAN 或 NAS，因为当 VM 移动到另一台服务器但仍需要访问原始服务器的存储时，DAS 不合适。

影响云选择 DAS、NAS 或 SAN 的其他原因是什么？大型云提供商使用什么样的存储，为什么？

我认为这样做会很直接，但我无法让它工作：

我正在尝试将文件从服务器 (GCE) 推送到谷歌云存储桶。为了避免gsutil在服务器上授予命令太多权限，我在我的 google 项目的凭据部分创建了一个“服务帐户”。

在存储桶中，gs://mybucket我已将具有 OWNER 权限的服务帐户的电子邮件地址作为 USER 添加到存储桶中。

在服务器上，我像这样激活了服务帐户：

$gcloud auth activate-service-account --key-file <path-to-keyfile> myservice

$gcloud auth list
Credentialed accounts:
 - 1234567890@project.gserviceaccount.com
 - myservice (active)

To set the active account, run:
  $ gcloud config set account <account>

所以到目前为止一切似乎都很好。但是，访问存储桶失败：

$gsutil cp tempfile gs://mybucket
CommandException: Error retrieving destination bucket gs://mybucket/: [('PEM routines', 'PEM_read_bio', 'no start line')]

$gsutil cp tempfile gs://mybucket/tempfile
Failure: [('PEM routines', 'PEM_read_bio', 'no start line')].

当然，我确实验证了存储桶的 ACL 确实将服务帐户显示为 OWNER。我也在不同操作系统的不同机器上尝试过这个。结果一样。不用说，我自己无法理解错误消息。我将不胜感激任何建议。此要点中的详细错误日志。

更新：

删除 …

我一直在努力寻找支持以下所有企业功能的在线备份服务：

• Linux 和 Windows 2003/2008 服务器的全系统备份，包括 Windows 注册表、系统状态、活动目录等。这个要求淘汰了大多数知名的在线玩家。
• 使用本地控制的密钥加密
• 重复数据删除，具有合理且可调整的保留策略。两周是不够的。我们在总部有 45 Mbps 的连接，还有大约 5 TB 的 10M 文件未压缩要备份。一些单独的文件大到 150 GB（MSSQL 和 Exchange 数据库）。这意味着带宽效率。
• 通过 Windows Volume ShadowCopy 服务支持 SQL Server 2005/2008 和 Exchange 2007/2010 备份。（同样，几乎没有任何在线服务能很好地做到这一点，“转储到本机文件然后备份”方案对 150 GB 数据库不起作用。）
• 合理的文件系统元数据支持，包括恢复，Windows 和 Linux 权限是必须的。（令人震惊的是，许多在线提供商都没有提供）。
• Gruanular Sharepoint 项目还原是一项非常受欢迎的功能，但我们可以没有它。
• 提供即用即付、全运营成本定价，无需像 Mozy 那样“预留”空间。
• 不是 BackupExec，我们只是不能再信任它来进行实际还原。每隔几周下载多 GB 的服务版本并进行 QA 和安装已经变得站不住脚。赛门铁克摧毁了又一个曾经伟大的产品。
• 合理的成功/失败报告，提供足够的信息来追踪丢失或跳过的数据（同样，大多数在线玩家在这方面都失败了）。
• 能够在 DR 场景中将数据（以及希望系统状态）恢复到公共云中（淘汰看起来很有前景的 VMware 特定解决方案）。

我已经试用或深入阅读了有关 CrashPlan、Mozy、JungleDisk、Carbonite、i365 和其他一些的内容。但是，即使是这些服务的“服务器”或“专业”版本，也缺乏所有面向业务、基于前提的备份软件多年来一直拥有的一个或多个“桌面赌注”功能。请注意，我们在这里寻找的不是免费的，甚至不是便宜的，只是在没有太多照顾和喂养的情况下运行良好且可靠的东西。

我可以使用什么工具将本地目录的内容与 Rackspace Cloud Files 存储桶的内容同步？

我需要一个类似 rsync 的应用程序来做镜像，而不是备份应用程序。我想要的是做的能力

rsync --update --delete /local/dir/ cloudfiles://bucket

以便远程存储桶包含/local/dir/.

文件的元数据（所有者、权限）并不重要，主目录中没有目录。

AWS Storage Gateway的用例似乎总是假设虚拟存储网关将安装在本地（即客户本地），然后将同步到 AWS。我想知道将存储网关放在 EC2 上。

我的用例是这样的：

我有大量必须通过文件系统访问的客户数据（即不能简单地存储在 S3 中）。这些数据的很大一部分很少被访问。我使用安装到 EC2 的多个 EBS 卷来完成此操作，并将它们快照到 S3。但是，存储很昂贵，并且存在单点故障，因为 EBS 驱动器只能连接到单个实例。

但是，听起来我可以在我的 EC2 服务器上安装虚拟存储网关，并使用新的网关缓存功能仅在本地保留经常访问的数据（使用免费实例存储进行缓存）。

此外，我读到iSCSI 驱动器可以安装在多台服务器上，只要它们使用集群感知文件系统进行格式化。

我的问题：

这是 Storage Gateway 的合理用例吗？

Storage Gateway iSCSI 驱动器真的可以从多个 EC2 实例挂载，从而消除单点故障吗？

是否有云存储提供商提供类似于 CIFS/SMB 的文件句柄？我们正在使用 Dropbox，我们希望在其他人打开文件时收到警告（如果存在冲突，它只会创建一个备份文件）。我们不喜欢您使用 Dropbox Business 允许我们使用的交互菜单手动锁定文件/文件夹的解决方案。另一方面，我们非常享受 Dropbox 本地缓存带来的性能提升！

我们曾经在本地网络中通过 SMB 使用 NAS，它支持这一点。但是随着迁移到远程工作，这不再是一种选择，因为我们办公室的带宽不够。

我试图了解围绕云计算的炒作，以及它是否可以在成本方面成为传统数据中心的更好替代品。如果你是一家小企业，我可以看到云的好处，但如果你很幸运，成为了一个大巨头呢？

托管视频、图像、音乐、游戏等的网站需要大量的存储空间。如果您的目标是 Internet 上的下一件大事，并且最终必须存储，例如 200 PB 的数据，您会支付 200 PB * 0.15 每 GB = 30M 的费用，还是购买自己的存储空间？我知道后者是有代价的，你需要支付电费、IT人员、硬件更换、住房、数据复制等费用，但我仍然觉得前者似乎更贵。或者也许我错了？

当然，存储并不是唯一的成本变量。您需要为带宽（可能是最昂贵的）、GET、PUT 和 DELETE 等 HTTP 方法以及虚拟机付费。一个拥有高流量和庞大用户群的网站会大量消费这些网站。

那么，什么东西便宜呢？在云中或在您自己的数据中心中托管您广受欢迎的网站？

谁能向我解释在存储解决方案的上下文中什么是“一致性组”？我如何在现实世界中使用它们？

似乎每个供应商都有自己的存储功能专有术语，但到目前为止我可以收集到以下信息：

一致性组是（我认为）一堆承诺始终保持一致的存储卷，也就是说，没有任何一个卷的时间点比其同行更远。

现在，我没有得到，也找不到其他任何地方的是：

1 - 一致性组的一致性是在同一组的所有卷之间还是仅在每个卷与其各自镜像之间的某处？

2 - 如果我正在运行一个一致性组，这是否也意味着我正在另一个远程一致组中运行该组的镜像？

3 - 如果存储后端突然关闭，一致性组中的卷是否仍然一致？处于一致性组中是否足以保证卷始终一致，即使出现断电等故障？

4 - 调用一致性组所需的最低限度的功能集是什么？

谢谢