Lustre,Gluster或MogileFS ?? 用于视频存储,编码和流媒体

Question

这么多的选项和很少的时间来测试它们......我想知道是否有人有分布式文件系统的视频流和存储/编码经验.

我有很多巨大的视频文件(50GB到250GB),我需要存储在某个地方,能够将它们编码为mp4并从几个Adobe FMS服务器流式传输.处理所有这一切的唯一方法是使用分布式文件系统,但现在的问题是哪个？

到目前为止我的研究告诉我:

• Lustre:成熟的成熟解决方案,被许多大公司使用,最好用> 10G文件是内核驱动程序.
• Gluster:新的,不太成熟,基于FUSE意味着易于安装,但由于FUSE开销可能会更慢.最好处理大量的小文件〜1GB
• MogileFS:似乎只适用于小文件~MB,使用HTTP进行访问？未来可能的FUSE绑定.

到目前为止,Lustre似乎是赢家,但我希望听到我所拥有的特定应用的真实体验.

此外,Hadoop,Redhat GFS,Coda和Windows DFS也可作为选项,因此欢迎任何体验.如果有人有基准,请分享.

经过一些实际经验后,这就是我所学到的:

• 光泽:
  • 表现:惊人的快!我可以断言Lustre可以服务很多流,并且通过Lustre访问文件不会影响编码速度.
  • POXIS兼容性:非常好!无需修改应用程序即可使用光泽.
  • 复制,负载平衡和故障转移:非常糟糕!对于复制负载平衡我们和故障转移,我们需要依赖其他软件,如虚拟IP和DRDB.
  • 安装:最糟糕的!凡人都无法安装.需要非常具体的内核,光泽补丁和调整组合才能使其正常工作.目前的光泽补丁通常适用于与新硬件/软件不兼容的旧内核.
• MogileFS:
  • 性能:适用于小文件但不适用于中型到大型文件.这主要是由于HTTP开销,因为所有文件都是通过HTTP请求发送/接收的,这些请求对base64中的所有数据进行编码,为每个文件增加了33%的开销.
  • POXIX兼容性不存在.所有应用程序都需要修改为使用mogilefs,因为大多数流服务器和编码工具都不了解MogileFS协议,因此它无法用于流/编码.
  • 通过一次访问多个跟踪器,可以在应用程序中实现开箱即用的复制和故障转移以及负载平衡.
  • 安装相对容易,大多数发行版中都有现成的软件包.我发现的唯一困难是设置数据库主从,以消除单点故障.
    • Gluster:
  • 性能:非常糟糕的流式传输.在10Gbps网络中,我无法达到超过几Mbps的速度.客户端和服务器CPU在大量写入时飙升.对于编码是有效的,因为CPU在网络和I/O之前已经饱和.
  • POXIS:几乎兼容.我使用的工具可以访问gluster挂载作为磁盘中的普通文件夹,但在某些边缘情况下,事情开始引起问题.检查gluster邮件列表,你会发现有很多问题.
  • 复制,故障转移和负载平衡:最好的!如果他们真的有效 Gluster非常新,它有很多bug和性能问题.
  • 安装太简单了.管理命令行非常棒,在多个服务器之间设置复制,条带和分布式卷并不容易.

定论:

不幸的是,结论是"没有单一的银弹".

目前,我们将Gluster3.2中的媒体文件放在复制卷中以进行存储和转码.只要您没有很多服务器,就可以避免地理复制和条带卷工作正常.

当我们要传输媒体文件时,我们将它们复制到通过DR:DB复制到第二个光泽卷的光泽卷.然后,wowza服务器从光泽卷中读取媒体文件.

最后,我们使用MogileFS来提供Web应用程序服务器中的缩略图.

Answer 1

到目前为止,GlusterFS已经进行了很多改进.他们现在为大文件提供"粒度锁定".请参阅此处:http://www.gluster.org/community/documentation/index.php/WhatsNew3.3 此外,您应该依赖视频帧速率.如果你不能达到4K的速率,Gluster可以解决存储问题.如果对速度有巨大需求,那么Infiniband可以参与其中.

Answer 2

从指定的系统来看，最合适的是 MoglieFS。

但也许你根本不需要任何特殊的系统就可以过得去。假设您有 4 个 Adob​​eFMS 服务器：

{video0.exmple.com,video1.exmple.com,video2.exmple.com,video3.exmple.com}.

您可以使用简单的方案在这 4 个服务器之间分发所有视频，例如

    /*
     *  pseudo code
     */

    $server_id = get_server_id(filename);
    ...
    ...
    int function get_server_id(filename) 
    { 
       return hash(filename) mod 4;
    }

对视频进行编码后，您的应用程序将

$server_id = get_server_id(file_name)
copy file_name to /mnt/$server_id/

客户端将使用http://videoN.example.com/filename.mp4等方式访问视频，其中 N 是使用get_server_id().

Lustre/Gluster 确实不是您应该寻找的。Lustre FS 更成熟，但开发人员要求您将此类 FS 上的文件视为“缓存”，即它们随时可能丢失。

Lustre/Gluster 的目标是在 HPC 中使用，以允许快速访问大量数据，而无需单个存储服务器成为性能瓶颈。这些系统的另一点是它们符合 POSIX 标准。在 HPC/科学研究环境中，您通常没有时间重写您的应用程序，因为您安装了新的酷且快速的 FS。