标签: network-storage

有没有人遇到过接近 100% Amazon S3 RESTful API 兼容的对象存储系统？

我所追求的是一个位于任何（最好是 POSIX）文件系统之上的层，它提供 Amazon S3 风格的 RESTful API 来存储 ( PUT)、检索 ( GET)、统计 ( HEAD) 和删除 ( DELETE)，并具有适当的身份验证。

也欢迎商业项目/想法。

笔记：

到目前为止，我已经尝试过Eucalyptus和Cumulus；其中 Eucalyptus 似乎盲目地称自己为 S3 兼容。响应 XML 文档根本不兼容，并且在某些地方不完整，根本没有 XML 文档。Cumulus 设法使响应文档保持非常相似，但似乎忘记了数据完整性！

让我解释后一部分：Eucalyptus 和 Cumulus 都不支持 Amazon S3 提供的完整性验证。您可以使用 S3 做的是，您可以提供 Base64(MD5(FILE)) 以及 PUT 请求，然后在 S3 成功响应之前对其进行验证。Eucalyptus 和 Cumulus 不支持这一点。有了 Eucalyptus，我们至少可以通过检查响应文档中给出的 MD5 来解决这个问题（不是 S3 兼容的行为）。在 Cumulus 中，这是不可能的，因为它不响应任何东西（如 S3）。由于未在HEAD请求中提供ETag，Cumulus 使情况变得更糟。

像许多其他地方一样，我们要求用户不要将文件保存到他们的本地机器上。相反，我们鼓励将它们放在文件服务器上，以便其他人（具有适当权限）可以使用它们并正确备份文件。

这样做的结果是，大多数用户的大硬盘驱动器基本上都是空的。现在是2010年。肯定有一个系统可以让您将空白空间变成虚拟 SAN 或文档库？

我设想的是一个客户端程序，它被推送到与中央服务器协调的用户 PC 上。该服务器在用户看来就像一个普通的文件服务器，但它不保留整个文件内容，它只是记录可以在不同用户 PC 中找到这些文件的位置。然后它与正确的客户端协调以提供文件请求。客户端软件将能够直接响应此类请求，并且足够智能以在本地缓存最近的文件。对于冗余，服务器可以确保将文件复制到多台 PC，也许允许您在不同位置定义组，以便整个存储库的实例位于每个组中，以防止在一栋建筑物中发生灾难并摧毁其他所有东西。

显然你不会把你的数据库服务器指向这里，但对于更简单的事情，我看到了几个优点：

• 文件通常可以从较近（或本地）的机器传输。
• 分布网络连接，而不是将所有文件传输集中在一个连接上
• 磁盘空间会随着您的公司自动增长。
• 最终应该更便宜，因为您不需要保留一组单独的磁盘

我也可以看到一些缺点：

• 如果计算机必须在繁忙时段提供或接受大文件传输，则用户 pc 性能偶尔会下降。
• 写入必须在网络上多次传播（尽管我怀疑这不是什么大问题，因为在大多数地方读取比写入更多）
• 仍然需要一种方法偶尔将数据的完整副本发送到异地，这会使差异化变得非常困难

将此视为完全位于您公司 LAN 中并利用您现有用户设备的云存储系统。

我们旧的主文件服务器将在大约 2 年后退役，我正在考虑用一个小型 SAN 替换它。我们当前的文件服务器使用了大约 400GB 的 1TB 共享空间。因为我们的备份空间有限，所以我们只把它缩小到那么小。我希望在更换后将可用空间扩展到至少 4TB，如果价格像我预期的那样下降，可能会更多。我想像这样的东西会更合适。作为一所学校，我们有几个计算机实验室可以让我继续运行，它们非常适合为这样的系统添加一点额外的冗余。

除了极少数例外，我们的用户在他们的 120GB 硬盘驱动器中填充了不到 40GB，这意味着我可以轻松地为每台机器预留 65GB。而且这只会增加，因为更新的机器配备 250Gb 驱动器，甚至那些很快就会变得更大。到更换文件服务器时，考虑到我们的桌面更换计划，我希望这样的系统能够提供 5TB 的可用存储空间，甚至允许冗余和历史记录。

不幸的是，我能找到的最接近的东西是Dienst，它只是一篇可以追溯到 1994 年的论文。我只是在搜索中使用了错误的流行语，还是真的不存在？如果没有，我错过了一个很大的缺点吗？

NetGear 的 ReadyNAS 2100 有 4 个磁盘插槽，不含磁盘的价格为 2000 美元。对于仅 4 个磁盘插槽而言，这似乎有点太贵了。

戴尔也有很好的网络存储解决方案。PowerVault NX3000 有 6 个磁盘插槽，这是一项改进。但是，它的成本为 3500 美元；NX3100 磁盘数量翻倍，价格翻倍。以防万一我在寻找大量存储的错误硬件，值得信赖的 PowerVault MD3000i SAN 有 15 个不错的驱动器，但起价为 7000 美元。

虽然您可以争论 Dell、Netgear 或 HP 或任何其他公司的支持是否认真，但将这些驱动器 RAID 放在一个盒子中并通过 iSCSI 提供服务仍然非常昂贵。有一个更便宜的选择：自己构建。Backblaze 制造了自己的盒子，可容纳 45 个（即 45 个）SATA 驱动器，价格略低于 8000 美元，包括驱动器本身。这至少比戴尔、Sun、HP 等的当前报价便宜 10 倍。

为什么 NAS（或 SAN - 仍然连接到网络的存储）如此昂贵？毕竟，它的主要功能是容纳多个 HDD，创建 RAID 阵列并通过 iSCSI 等协议为它们提供服务；几乎所有其他东西都只是彩色气泡（又名营销术语）。

当前的大多数块存储系统都允许您创建跨多个磁盘的卷，但这些磁盘必须位于同一台服务器上。是否有任何系统可以创建跨多个服务器上的多个磁盘的卷，并且该卷可以通过向集群添加更多服务器来增长？
编辑：例如，我需要将日志连续写入远程文件。文件永远不会关闭，因此像对象存储系统中的缓存模型是不可行的。我正在寻找一种类似于 SAN 系统的解决方案，但可以将 1 个卷扩展到超出单个服务器的范围。

我公司购买了 2 台 DL380p gen8 服务器，我想创建超融合模型。

我的问题是，我是否可以绕过 InfiniBand 以太网协议直接连接两个 544FLR-QSFP (649282-B21) 卡？

我们目前拥有 Brocade 200E 光纤交换机，将 2 个 EMC CLARiiON 连接到 4 个 VMware ESXi 主机。我们正在研究将 iSCSI 与我们现有的以太网网络结合使用的新存储选项，包括逐步升级到 10 Gb 的可能性。我一直在寻找任何类型的 10GBASE-T 交换机，它向后兼容 1 Gb，并且还包括连接到 Brocades/CLARiiON 所需的光纤通道端口。

我对存储管理和光纤通道的经验不是很丰富，所以我知道这个问题的答案可能是“不”，但看起来带有模块 ( N5K-M1008 )的 Cisco Nexus 5010确实可以工作。

我还考虑过使用 10Gb 交换机（Dell Powerconnect 8024），它具有 SFP 端口，用于上行链路到其他交换机。这些 SFP 端口是否能够连接到 Brocade 上的光纤端口（不一定只是在这台戴尔交换机上，而是在任何类似的交换机上），或者它们是否仅被设计为相同型号的上行链路？

深入了解光纤交换的细节以及光纤端口的分类方式都会有所帮助。

编辑：我没有发表评论，因为我从答案中学到了很多东西，并且希望能够尽可能地澄清。我不一定需要一个简单的交换机，但更多的是可以执行此操作的单个设备（因此具有必要模块的 Cisco Nexus 可以工作）。此外，似乎要让它发挥作用，我需要我的新存储能够通过 10Gbps 链接支持 FCoE，以便它可以通过 FC 到达我的主机。

我知道在 FC 交换机上正确进行分区可能过于复杂，但我想看看我对这些技术的理解现在是否正确。因此，假设这可以实现，具有 10Gbps 端口的 Nexus 交换机以及连接到现有 FC 交换机的模块的 FC 端口是否能够将新的存储设备（可以说 FCoE）连接到我现有的主机？

我们有一个 1TB 的存储服务器，我刚刚将一个 100Gb 的文件传输到它上面。它已经删除了卷影副本。从谷歌搜索我了解到这可能发生了：http : //support.microsoft.com/kb/826936

有没有办法恢复这些卷影副本？

非常感谢您无论如何阅读，任何帮助将不胜感激。

我正在研究 NAS 系统，并希望它从 14 TB 开始，并且能够在需要时进行扩展。

我计划运行FreeNAS并使用RAID-Z2。我有大约 2500 美元的预算。

我一直在四处寻找，试图找到我要找的东西。如果需要，我不反对构建机器，我正在查看案例NORCO RPC-4020 4U 机架式服务器机箱，带有 20 个热插拔 SATA/SAS 6G 驱动器托架 - OEM。

是否有可能以我的预算获得我想要的东西？

我们有一个半公司环境，大约有 25 个用户。大多数机器是Windows7，但网络上也有一些Mac。

我们想要设置一些位置（在具有大量存储空间的 Windows 服务器上），用户可以在其中存储日常工作文件。这样，我们可以备份整个存储驱动器，而不必在每台机器上运行备份。这个想法是用户将把他们的重要文件保存在这里而不是他们的本地机器。

现在，我已经阅读了有关 NAS 的内容，但我不确定是否有任何理由使用特殊系统而不仅仅是网络文件共享。如果我没记错的话，即使是 Mac 也可以访问 Windows 文件共享。

NAS 服务器会添加另一个级别的（不需要的）身份验证。我更倾向于只使用 Windows 文件共享。我不需要媒体服务器。

我在这里错过了什么吗？

该文档说明：

“在具有 1,000 个 ZFS 文件系统的系统上，为每 10,000 个装载的文件系统（包括快照）提供 1 GB 的额外内存。”

这是什么意思 - 这些人如何使用 ZFS？他们是否在每个用户安装的文件中使用 ZFS？还是指真正庞大的数据中心？

我一直认为 ZFS 提倡单一文件系统，一个巨大的文件系统。为什么文档会谈论人们安装 1000 个？

现在应该如何将一个小型存储阵列（四个3TB SATA 驱动器）连接到两个主板或控制器作为故障转移系统？这意味着避免添加另一个单点故障，例如单个 SAN 设备。一个完美的世界会在扩展卡（PCIe、PCIX）上有一个 [非 RAID] 控制器，专门用于此任务，或者具有内置到普通主板中的功能。

我避免使用硬件 RAID 卡，因为这只是一个备份解决方案，而不是高性能服务器，并且将实施 ZFS（RAID-Z2，类似于 RAID-6）。