HadoopFS(HDFS)作为分布式文件存储

Question

我考虑将HDFS用作我们的客户端视频托管服务的水平扩展文件存储系统.我主要担心HDFS不是为此需求而开发的,这更像是"目前在需要处理大量数据的情况下使用的开源系统".我们不想处理数据只是存储它们,在HDFS的基础上创建像小型内部Amazon S3模拟.

可能重要的时刻是存储的文件大小将从100Mb到10Gb非常小.

有没有人在这样的目的中使用HDFS？

Answer 1

主要缺点是缺乏 POSIX 语义。您无法安装该驱动器，并且需要特殊的 API 来读取和写入该驱动器。Java API是主要的 API。有一个名为libhdfs的项目，它通过 JNI 制作 C API，但我从未使用过它。Thriftfs是另一种选择。

我也不确定与其他替代方案相比的读取性能。也许其他人知道。您是否检查过其他分布式文件系统（例如Lustre）？