我记得一年前尝试过 s3fs,尝试使用一些 S3 存储桶作为 FUSE 文件系统。我记得它相当滞后,尤其是与 git 操作结合使用时(一个不经意的系统架构师有一个像这样的奇怪要求)。
几个月后,我发现了 Lustre 和 AWS FSx for Lustre 以及 S3,据称它为其提供了非常相似的用例:
Amazon FSx for Lustre 与 Amazon S3 原生配合使用,让您可以轻松使用高性能文件系统处理云数据集。当链接到 S3 存储桶时,FSx for Lustre 文件系统会透明地将 S3 对象呈现为文件,并允许您将结果写回 S3。
那么 Lustre 在性能方面与 S3 的 FUSE 文件系统(例如 s3fs(以及其他类似 goofys))相比如何呢?
谢谢 :)
我在不同的地方(例如,这里和这里)读到,NFS 的 I/O 性能无法扩展,而 Lustre 可以扩展,而且 Lustre 一般可以提供更好的 I/O 速率。
两者之间似乎存在各种架构差异,但我无法确定到底是什么让 Lustre 在速度或可扩展性方面有所提升。我想我的问题有些概念性,但是与 NFS 或允许 Lustre 扩展并提供更快 I/O 速率的功能相比,关键区别是什么?