哪个分布式文件系统作为云计算的后端？

Question

我有一个在 Ubuntu Server (9.04) 和 Eucalyptus 上运行的基本云。Walrus（Eucalyptus 的 API 兼容 S3 实现）在云控制器上存储文件。然而，其他 4 个服务器中的每一个都有 1TB 的存储空间，但大部分都没有使用。我正在寻找一种将所有存储集中在一起的方法，以便利用所有可用资源。我一直在寻找各种选项，包括 PVFS、Lustre、HDFS (Hadoop)。

我唯一的要求是它需要可扩展并且在 Ubuntu 上运行良好。我希望收到任何有此类技术经验的人的来信，我期待听到您的建议。

Answer 1

虽然我没有在我们系统的任何地方亲自实现它，但我已经非常广泛地研究了Gluster。我认识一些大型网站上的一些人使用它，而且它显然工作得很好。他们在生产中将其用于一些重型 HPC 应用程序。

Answer 2

你看过 mogileFS 吗？ http://danga.com/mogilefs/

它不是传统意义上的文件系统，但它有利于跨集群分发文件数据（考虑到复制和冗余）。

如果您要为网络应用程序提供文件，您将需要一些东西来提供文件。我建议使用一个 PHP 脚本，它使用 HTTP 请求作为搜索关键字，在 mogile FS 中查找所需的文件。然后，您可以将文件的内容读入缓冲区并回显/打印出来。

MogileFS 已经相当快了，但您可以将 mogileFS 与 memcache 结合起来，以加快对最常用文件的访问速度。