标签: distributed-filesystems

我使用 SSHFS 在远程服务器上挂载一个目录。客户端和服务器上都有一个用户 xxx。两个盒子上的 UID 和 GID 是相同的。

我用

sshfs -o kernel_cache -o auto_cache -o reconnect -o compression=no \ 
      -o cache_timeout=600 -o ServerAliveInterval=15 \
      xxx@yyy.yyy.yyy.yyy:/mnt/content /home/xxx/path_to/content

将目录挂载到远程服务器上。当我在客户端上以 xxx 身份登录时，我没有任何问题。我可以 cd 进入 /home/xxx/path_to/content。

但是当我以另一个用户 zzz 登录客户端时

$ ls -l /home/xxx/path_to

我明白了

d?????????   ? ?    ?        ?                ? content

并在

$ ls -l /home/xxx/path_to/content

我得到

ls: cannot access content: Permission denied

当我做

$ ls -l /mnt

在我得到的远程服务器上

drwxr-xr-x 6 xxx xxx  4096 2011-07-25 12:51 content

我究竟做错了什么？权限对我来说似乎是正确的。我错了吗？

是否可以创建 ZFS 集群？或者您是否需要使用由 GlusterFS 管理的 UFS 格式池来走 ZFS 看似丑陋（至少对我而言）的路线？

我们的想法是看看是否可以扩展到 ZFS 应该能够顺利处理的多拍字节分布式存储。

任何指针，博客，帖子？

我正在评估 GlusterFS 和 Ceph，似乎 Gluster 是基于 FUSE 的，这意味着它可能不如 Ceph 快。但是看起来 Gluster 有一个非常友好的控制面板并且易于使用。

前几天Ceph被并入linux内核，这表明它的潜力更大，未来可能是一个不错的选择。

我想知道哪个（甚至两者中的？）是生产使用的更好选择？如果你能分享你的实践经验就好了

我打算使用 NFS 来提供许多小文件。它们将被经常读取，因此客户端缓存至关重要。NFS 处理这个吗？有没有办法以某种方式增加客户端缓存？

……还是我应该看看另一个解决方案？定期使用 rsync 或 unison 进行同步不是一种选择，因为客户端会不时修改文件。

我正在构建一个应用程序，该应用程序需要通过 WAN 跨几个站点分发标准文件服务器。基本上，每个站点都需要编写大量不同大小的 misc 文件（有些在 100 s MB 范围内，但大多数很小），并且编写的应用程序使得冲突不是问题。我想建立一个满足以下条件的系统：

1. 每个站点都可以将文件存储在共享的“命名空间”中。也就是说，所有文件都将显示在同一个文件系统中。
2. 除非必要，否则每个站点都不会通过 WAN 发送数据。即，WAN 的每一侧都有本地存储，这些存储将“合并”到相同的逻辑文件系统中。
3. Linux & Free ($$$) 是一个加分项

基本上，像中央 NFS 共享这样的东西可以满足大多数要求，但是它不允许本地写入的数据留在本地。来自 WAN 远程端的所有数据将始终在本地复制。

我研究了 Lustre，并对其进行了一些成功的测试，但是，它似乎在分布式存储中相当均匀地分布文件。我已经翻阅了文档，并没有发现任何自动将“首选”本地存储而不是远程存储的内容。即使是具有最低延迟存储的东西也可以。它在大部分时间都可以工作，这将满足此应用程序的要求。

对下面提出的一些问题的一些答案：

• 服务器节点：2 或 3 个启动。每个服务器将有数十个同时读/写客户端连接。
• WAN 拓扑是全网状且可靠的。（大公司，成本不像繁文缛节那样限制）
• 客户端故障转移：我实际上没有考虑过客户端故障转移（主要是因为我们当前的应用程序不仅仅在一个站点上执行此操作）。我认为实际的答案是，每个地理分布站点的服务器都应该是它们所服务的客户端的单点故障。但是，如果您正在考虑此处的特定内容，我认为这与讨论非常相关。
• 自己动手：我已经考虑过 rsync/unison，但是我需要相当多的奇特逻辑才能使这项工作的“动态”部分无缝地工作。即，文件似乎是本地的，但仅在需要时检索。
• MS-DFS：这似乎是我应该研究的问题。我的主要问题可能是不确定 Windows 上的 NFS 服务器配置/可靠性/性能，因为许多连接的客户端都是 NFS 客户端。

像许多其他地方一样，我们要求用户不要将文件保存到他们的本地机器上。相反，我们鼓励将它们放在文件服务器上，以便其他人（具有适当权限）可以使用它们并正确备份文件。

这样做的结果是，大多数用户的大硬盘驱动器基本上都是空的。现在是2010年。肯定有一个系统可以让您将空白空间变成虚拟 SAN 或文档库？

我设想的是一个客户端程序，它被推送到与中央服务器协调的用户 PC 上。该服务器在用户看来就像一个普通的文件服务器，但它不保留整个文件内容，它只是记录可以在不同用户 PC 中找到这些文件的位置。然后它与正确的客户端协调以提供文件请求。客户端软件将能够直接响应此类请求，并且足够智能以在本地缓存最近的文件。对于冗余，服务器可以确保将文件复制到多台 PC，也许允许您在不同位置定义组，以便整个存储库的实例位于每个组中，以防止在一栋建筑物中发生灾难并摧毁其他所有东西。

显然你不会把你的数据库服务器指向这里，但对于更简单的事情，我看到了几个优点：

• 文件通常可以从较近（或本地）的机器传输。
• 分布网络连接，而不是将所有文件传输集中在一个连接上
• 磁盘空间会随着您的公司自动增长。
• 最终应该更便宜，因为您不需要保留一组单独的磁盘

我也可以看到一些缺点：

• 如果计算机必须在繁忙时段提供或接受大文件传输，则用户 pc 性能偶尔会下降。
• 写入必须在网络上多次传播（尽管我怀疑这不是什么大问题，因为在大多数地方读取比写入更多）
• 仍然需要一种方法偶尔将数据的完整副本发送到异地，这会使差异化变得非常困难

将此视为完全位于您公司 LAN 中并利用您现有用户设备的云存储系统。

我们旧的主文件服务器将在大约 2 年后退役，我正在考虑用一个小型 SAN 替换它。我们当前的文件服务器使用了大约 400GB 的 1TB 共享空间。因为我们的备份空间有限，所以我们只把它缩小到那么小。我希望在更换后将可用空间扩展到至少 4TB，如果价格像我预期的那样下降，可能会更多。我想像这样的东西会更合适。作为一所学校，我们有几个计算机实验室可以让我继续运行，它们非常适合为这样的系统添加一点额外的冗余。

除了极少数例外，我们的用户在他们的 120GB 硬盘驱动器中填充了不到 40GB，这意味着我可以轻松地为每台机器预留 65GB。而且这只会增加，因为更新的机器配备 250Gb 驱动器，甚至那些很快就会变得更大。到更换文件服务器时，考虑到我们的桌面更换计划，我希望这样的系统能够提供 5TB 的可用存储空间，甚至允许冗余和历史记录。

不幸的是，我能找到的最接近的东西是Dienst，它只是一篇可以追溯到 1994 年的论文。我只是在搜索中使用了错误的流行语，还是真的不存在？如果没有，我错过了一个很大的缺点吗？

我需要为连接在网状网络中的一组节点（设备）实现分布式存储系统。

所以基本上我的设计目标是：

1. 存储系统应该能够处理节点的动态进入和退出。
2. 复制（用于容错）。

为此，我正在考虑使用分布式文件系统。每个节点都可以以透明的方式访问其他节点中的数据。

是否有一些简单、易于插入的开源实现？

谢谢你的想法！

我有一个 GlusterFS 2 节点 2 副本设置。我打算将它用作 OpenStack 实例存储，其中存储了 VM 磁盘映像。

根据我的测试，如果虚拟机管理程序当前安装的 GlusterFS 节点出现故障（使用默认 GlusterFS 设置）连接超时需要大约 45 秒，并且 glusterfs 客户端故障转移到另一个节点。在这 45 秒内 IO 操作将挂起，从 VM 的角度来看，这意味着磁盘变得无响应。

我知道对于 Linux，如果磁盘变得无响应，一段时间后（我不确定多长时间）内核会将文件系统重新挂载为只读。

我还可以降低 GlusterFS 卷的值network.ping-timeout，这将减少故障转移时间。

我的问题是，我应该设置多少这个值，以便大多数操作系统可以容忍虚拟磁盘的无响应时间而没有副作用？

更准确地说，我想知道 Windows NTFS、FreeBSD UFS/ZFS 和 Linux ext4 可以容忍的磁盘无响应时间。涉及的参数有哪些？（例如，/sys/block/sda/device/timeout在 Linux 上）

相关信息：

• 如何降低 Gluster FS 对等超时/减少对等影响？

• http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1009465

更新：@the-wabbit 已经回答了关于 Linux 和 Windows 的问题，我也想知道 FreeBSD 的情况

我正在使用 GlusterFS 3.7.9，目前在具有 4 个砖块的单个服务器上。

每块砖有 4TB，卷设置为仅分发。

该卷安装在辅助服务器上，我将其用于备份目的。

问题是，每隔几天辅助服务器就会看到该卷变小（12TB），并且当它尝试访问我得到的一些文件时transport endpoint not connected。

就好像它不再看到 4 块砖中的一块，而卷所在的服务器可以毫无问题地看到它们。

我的IP在防火墙白名单中，gluster volume status说一切都很好。

我应该检查什么？我找不到任何理由。

我记得一年前尝试过 s3fs，尝试使用一些 S3 存储桶作为 FUSE 文件系统。我记得它相当滞后，尤其是与 git 操作结合使用时（一个不经意的系统架构师有一个像这样的奇怪要求）。

几个月后，我发现了 Lustre 和 AWS FSx for Lustre 以及 S3，据称它为其提供了非常相似的用例：

（aws fsx 常见问题解答）

Amazon FSx for Lustre 与 Amazon S3 原生配合使用，让您可以轻松使用高性能文件系统处理云数据集。当链接到 S3 存储桶时，FSx for Lustre 文件系统会透明地将 S3 对象呈现为文件，并允许您将结果写回 S3。

那么 Lustre 在性能方面与 S3 的 FUSE 文件系统（例如 s3fs（以及其他类似 goofys））相比如何呢？

谢谢 ：）