小编pun*_*336的帖子

并行 vs 分布式 vs 传统文件系统

我试图在非常基本的层面上理解这三个文件系统之间的差异。

  • 分布式文件系统:HDFS
  • 平行 FS : 光泽
  • 传统文件系统:ext4/ext3/NTFS/FAT 等。

我想知道这三个文件系统之间的基本概念差异是什么。我的大部分知识是关于传统文件系统的,即 ext3/4超级块、inode 等

  • 如果基于 MPI 的进程 (np=8) 尝试从文件系统读取文件或写入文件 A,那么文件访问机制在这些上下文中有何不同
  • 文件是如何存储在这个环境中的?即文件 A 将被拆分到多个磁盘或文件 A 将在存储上有冗余副本。或者更简单的场景是多个用户打开一个word文档然后保存它,那么在这3个场景中回写/同步有何不同

到目前为止,我已经形成了一些概念:-

  • 在本地文件系统中,存储物理安装在服务器/节点上。
  • 在并行文件系统中,一个磁盘在多个节点上共享(挂载),并且,
  • 在分布式FS中,多个节点有多个本地存储,但它们都通过某种机制同步。

如果我有 A、B 是工作站而 C、D 是磁盘:

  1. 如果 C物理安装在 A 上并格式化为 ext4,那么它就是传统的文件系统。
  2. 如果 C 物理安装在存储服务器 Z + C 是网络安装(NFS)在 A 和 B 上,那么这就是集群 FS。
  3. 如果 C 物理安装在 A 上,网络安装在 B 上,D 物理上安装在 B 上,网络安装在 A 上。那么这就产生了分布式 FS。

尽管有些答案指出元数据和数据位于并行文件系统中的单独服务器上,但在这里我也想了解如何在分布式文件系统中管理元数据?

storage filesystems distributed-filesystem mpi

5
推荐指数
1
解决办法
4825
查看次数