适用于商品linux存储场的最佳分布式文件系统

Question

我有很多备用的intel linux服务器(数百个),并希望在Web托管和文件共享环境中将它们用于分布式文件系统.这不适用于HPC应用程序,因此高性能并不重要.主要要求是高可用性,如果一台服务器脱机,存储在其硬盘上的数据仍可从其他节点获得.它必须通过TCP/IP运行并提供标准POSIX文件权限.

我看了下面的内容:

• Lustre(http://wiki.lustre.org/index.php?title=Main_Page):非常接近,但它不为节点上的数据提供冗余.您必须使用RAID或DRBD创建数据HA.在Sun和Open Source的支持下,它应该存在一段时间

• gfarm(http://datafarm.apgrid.org/):看起来它提供了冗余,但代价是复杂性和可维护性.不像Lustre那样得到支持.

有没有人对这些或任何其他可能有效的系统有任何经验？

Answer 1

另请检查GlusterFS

编辑(2012年8月): Ceph终于做好了准备.最近,作者组建了Inktank,一家为其出售商业支持的独立公司.根据一些介绍,可安装的POSIX兼容文件系统是最上层,尚未真正测试,但较低层现在正在生产中使用一段时间.

有趣的部分是RADOS层,它提供了一个基于对象的存储,同时通过librados库(可用于多种语言)进行"本机"访问,以及与Amazon S3兼容的RESP API.任何一个都足以使大量存储添加到Web服务.

该视频很好地描述了哲学,架构,功能和当前状态.

Answer 2

在我看来,Linux的最佳文件系统是MooseFS,它很新,但我有机会将它与Ceph和Lustre进行比较,我确信MooseFS是最好的.