标签: distributed-filesystems

一家拥有 50 名图形设计师的公司正在使用同一个文件服务器。他们主要使用 Indesign。一个典型的项目是一个 60 页的 indesign 文档，其中包含 1.5GB 的链接文件（类似于 100 PSD、JPG、.ai）。他们不断地编辑链接的文件。这会给服务器带来很大的压力。所有工作站都有仅用于系统和应用程序的板载 SSD (700MB/s)。

我想知道是否有任何方法可以将本地驱动器用作远程文件夹的缓存。假设我们为缓存文件分配了 200GB。每次访问文件时，它都会在服务器上检查上次更改日期，并仅在缓存数据已过时时才检索文件。如果服务器上的文件发生更改，它会通知工作站。它会被认为是一个保管箱或谷歌驱动器，但带有本地服务器。

如果有人知道这种解决方案，请指点我。

如果没有，我真的不知道为什么。这是我在每家此类公司中看到的需求。

Adobe 建议在本地复制文件，工作，然后重新上传。当 3 位绘图员在同一本书的不同章节上工作时，这真的很痛苦而且不可能。

（注意这个问题已经解决了，但我让评论保持一致:)使用 SMB 它在服务器上使用大量 CPU，我认为 Indesign 正在关注链接文件的更改并不断请求更改。如果链接文件在 indesign 中更新，请立即在其旁边显示一个标志。（解决方案：当使用 afp 连接远程文件夹时，服务器上的 CPU 使用率是正常的，在 OSX 上的 SMB 实现肯定存在问题。）

无论如何，我仍在寻找一种安装远程文件夹的方法......具有本地缓存​​。

https://en.wikipedia.org/wiki/Clustered_file_system#Network-attached_storage说

网络附加存储 (NAS) 提供存储和文件系统，例如存储区域网络 (SAN) 之上的共享磁盘文件系统。NAS 通常使用基于文件的协议（与 SAN 使用的基于块的协议相反），例如 NFS（在 UNIX 系统上流行）、SMB/CIFS（服务器消息块/通用 Internet 文件系统）（用于 MS Windows 系统） 、AFP（用于 Apple Macintosh 计算机）或 NCP（用于 OES 和 Novell NetWare）。

https://en.wikipedia.org/wiki/Network-attached_storage

网络附加存储 (NAS) 是连接到计算机网络的文件级（与块级相反）计算机数据存储服务器，提供对异构客户端组的数据访问。NAS 专门用于通过其硬件、软件或配置来提供文件。它通常作为计算机设备制造 - 专门构建的专用计算机。[nb 1] NAS 系统是包含一个或多个存储驱动器的网络设备，通常被安排到逻辑、冗余存储容器或 RAID 中。网络附加存储消除了从网络上的其他服务器提供文件的责任。它们通常使用网络文件共享协议（如 NFS、SMB 或 AFP）提供对文件的访问。

... 集群 NAS 是使用分布式文件系统在多台服务器上同时运行的 NAS。集群和传统 NAS 之间的主要区别在于能够跨集群节点或存储设备分发[引用需要]（例如条带）数据和元数据。集群 NAS 与传统的 NAS 一样，仍然提供对来自任何集群节点的文件的统一访问，与数据的实际位置无关。

NAS 是否同时提供块级和文件级操作？

“网络附加存储 (NAS) 提供存储和文件系统，就像存储区域网络 (SAN) 之上的共享磁盘文件系统”是否意味着 NAS 和 SAN 上的共享磁盘文件系统相同？

NAS 是否通常使用基于文件的协议（而不是 SAN 将使用的基于块的协议），例如 NFS（在 UNIX 系统上流行）、SMB/CIFS（服务器消息块/通用 Internet 文件系统）（与 MS Windows 一起使用）系统）、AFP（用于 Apple Macintosh 计算机）或 NCP（用于 …

我很好奇我是否可以在不使用任何 DFS 链接的情况下将 DFS 根用作共享文件夹。

一些背景：我喜欢使用 DFS 进行名称抽象的想法。通过使用基于域的命名空间，我可以抽象出服务器名称引用，并且将来可以灵活地将共享文件夹重新定位到不同的机器。然而，由于我的网络很小（大约 10 台机器，一台 AD 服务器），DFS 有点矫枉过正，因为它通常引入了太多的间接级别：DFS 根目录包含指向实际 SMB 共享的文件夹链接。虽然如果您的 SMB 共享分布在不同的机器上是有道理的，但当所有东西都在一台机器上时似乎并非如此。您最终将 DFS 根目录和 SMB 文件夹一对一映射到同一台机器上。

尽管如此，看起来 DFS 根目录只是普通文件夹。我可以将文件和文档放入其中，而不是将 DFS 链接放在那里。因此，我想知道是否可以将 DFS 根用作共享文件夹，而无需创建 DFS 链接？这种方法有什么缺点？或者你也可以指出我可能误解的任何一点。

在我的大学部门，我们即将升级我们学生实验室的计算机（大约 25-30 台机器）。这些机器将运行 Linux。

关于新机器的一件事是它们有巨大的 (1TB) 硬盘（我们没有要求它们，但无论如何现在你找不到便宜得多的磁盘！）

目前，用户主目录存储在中央文件服务器上并通过 nfs 挂载。

所以问题是，有什么办法可以使用所有这些磁盘容量吗？我会考虑

• 扩展我们的中央文件存储，或
• 复制主目录以加快访问速度。

主要问题是实验室机器不能保证一直运行。

浏览此站点时，我阅读了有关GlusterFS和AFS 的信息。

GlusterFS 似乎有很多朋友，是一个很好的通用解决方案。

AFS呢？我读过它有性能问题，有经验吗？

我在一台专用机器上运行一个简单的 rails 堆栈。我们正在达到我们的全部容量并且完全没有扩展设置，只有一台机器上的一个应用程序。我做了一些研究，并提出了一个潜在的可扩展堆栈。我不是专业管理员，但我已经就我们应该如何使用 EC2 提出了一些想法。我仍然有点不确定文件系统共享，这是我的主要问题所在。首先，这是我要处理的。

当前堆栈：

• 导轨 2.3.11
• PostgreSQL
• 乘客+nginx
• 延迟作业
• 狮身人面像+thinking_sphinx
• imagemagick（重图像处理）
• jaxer（将解释）

我们的应用程序的作用：

我们的应用程序使用 ImageMagick 执行大量图像上传和繁重的图像处理。它还与 jaxer 对话以进行冗长的画布到图像的转换。所有这些都在延迟工作中。我们想确保这些东西尤其可以扩展。所以我们谈论的是快速增长的文件存储需求和后台作业中繁重的图像处理。

到目前为止我的决定：

• 使用 Rubber gem 帮助部署/管理
• 从 delay_job 移动到 redis/resque，以便更轻松地解耦工作人员（客户端/服务器）、多个队列和 sinatra Web 界面
• 有像 app、db、web、redis、resque 这样的角色，一开始所有的东西都在一个 ec2 实例上，但很快就把 redis/resque 的东西拆分成一个单独的实例，可能还有更多

问题：

主要的实际问题是：所有文件会发生什么？如果我决定将应用程序角色拆分为多个实例，如何获得共享文件系统访问权限？

此外，很高兴听到关于我的设置的一些想法。

我想实现以下设置：

每次我将笔记本电脑连接到本地网络时，我的分区都会自动镜像到本地服务器上的分区。

我只想反映上次发生的变化。（我知道这不是一个合适的备份解决方案，因为没有更改的历史记录，它更像是一个非持久性网络 RAID。）

是否有允许这样设置的分布式文件系统？我做了一些搜索，在我看来，大多数分布式文件系统都专注于数据可用性和分发，而不是复制它们。

我会很感激的建议。

编辑：抱歉，我忘了提及：我正在使用 Linux。

我正在寻找一种生产解决方案来创建一个可以与 HDD 安全同步的 RAM 驱动器。

我有一个 I/O 负载很重的自定义软件（这是某种专有的面向文档的数据库），我需要显着加快它的速度。我无法修改或摆脱软件本身，因此必须进行水平或垂直缩放。该软件不支持盒子的水平侦察，所以我先看看垂直缩放。

主要想法很简单 - 我们购买大量 RAM (96GB) 并将整个内容放入 RAM 驱动器。但它需要是故障安全的，在服务器重启时丢失任何数据不是一种选择。所以我正在寻找能够在 RAM 驱动器和 HDD 之间保持透明同步的解决方案。

像通过 bash 脚本复制文件这样的肮脏解决方案不是一种选择，需要更可靠的方法。

理论上，正如我所见，这里描述的某种分布式 FS可以以一种奇怪的方式使用 - 在同一台机器上同步两个分区。但我怀疑这是否会在实践中起作用，并且从未尝试过。

那么，对于具有透明同步到 HDD 的 RAM 驱动器的现成解决方案有什么想法吗？

数据更新：

1. 我需要在 RAM 中保存的估计数据量约为 50GB。
2. 服务器是专用的 HP DL320、8 个 CPU、16GB RAM（最高 96GB）。
3. I/O 配置文件类似于数据库应用程序 - 大量随机访问读取，较少写入。

我正在使用新的 LizardFS，它很棒！我是 LizardFS/MooseFS 的新手，但它看起来很简单。

我想知道两件事：

首先，有没有办法设置单独的存储池？例如，我可以有五台服务器，每台服务器都有两个 HDD。每个服务器中的一个硬盘属于一个存储池，另一个硬盘属于另一个。存储池将是独立的，因为它们将单独安装，并且它们将单独维护块。

想要这样做的原因是因为我的第二个问题：

我想要一个快速存储池和一个慢速存储池。我的服务器有 10Gbe 和 SSD，所以 LFS 的一切都非常快。但是有些项目（尤其是文件类型）不需要快速，例如音频和视频文件，而 HDD 显然更便宜。

最终，我想要做的是让 LFS 识别条件（例如文件类型或其他用户定义的条件），以便在将文件写入文件系统时，将其存储在快速存储或慢速存储中，但它对于最终用户而言，它显示为单个存储卷。我相当肯定 LFS 开箱即用是不可能的。但是，如果可能有多个存储卷，我可以构建一个系统来使用符号链接来伪造它的其余部分。

伙计们，我正在创建一个应用程序，它将在文件系统中保存一个.txt文件（我猜每个文件大约 10 KB），并将其路径保存在 MS SQL 数据库中。现在，根据我的估计，350-400 million每年大约需要保存这种性质的文件。

存储这些大量文件的最佳方式或最佳文件系统是什么？目前我的服务器运行在Windows Server 2008 R2Windows文件系统上，可以处理这么多文件吗？或者我需要研究unix/linux解决方案吗？

注意：顺便说一句，我只需要存储它们，它们将被读取一次，然后很少（在某些特殊情况下）或者可能根本不被读取。这就是为什么我只会保留它们 2.3 年。