Alluxio有/无HDFS

Question

我有一个HDFS集群作为底层存储分布式文件系统,但我刚刚读到了关于alluxio的快速而灵活的内容.所以,我的问题是:我应该将Alluxio与HDFS一起使用,还是Alluxio可以替代HDFS？(我在他们的网站上看到,存储文件系统下的共享存储可以是网络文件系统(NFS).所以,我认为不需要HDFS.如果我犯了错误,请纠正我).

在哪种模式下性能更好:使用Alluxio或Alluxio stanalone的HDFS(我的意思是单独使用的术语是在群集中单独使用而不是在本地使用).

Answer 1

来自Alluxio维护者的回复.

首先,Alluxio 不是 HDFS的替代品.相反,它是一个新的抽象层,位于其他分布式/云存储系统之上,包括HDFS,S3,Azure Object Store和其他可能的选择.在您的情况下,如果您的数据已经在HDFS中,您可能仍会将HDFS保留为Alluxio的持久数据层.

用户将Alluxio放在图片中的典型场景看到了显着的好处,包括:

• 您的物理数据不在您的计算机中.例如,您的bigdata引擎正在从S3或其他对象存储中读取数据.在这种情况下,通过使用计算节点部署Alluxio,可以使Alluxio作为文件系统级缓存工作,以避免重复地跨网络获取数据.见http://www.alluxio.org/overview/remote-data-acceleration
• 您正在管理多个存储,并希望公开单个数据访问层以简化管理.例如,可以将多个S3 /桶"挂载"到一个Alluxio部署中,因此它们在同一命名空间下显示为不同的目录.见http://www.alluxio.org/overview/storage-unification

关于你原来的表现问题.答案是,这取决于.如果你的HDFS远离计算机,你会期望获得良好的性能提升.我还看到了HDFS瓶颈的情况,Alluxio也可以帮助减少负载并为某些关键任务工作提供良好的SLA.