为什么 GlusterFS 这么慢？

Question

我们已经设置了一对 GlusterFS 服务器镜像。无需特殊调整，无论官方 RHEL6 RPM 中的 GlusterFS-3.5.1 “开箱即用”什么，这就是我们所拥有的。

集群可以工作，但性能非常糟糕。例如，firefox-31.0.source.tar.bz2通过本地主机上的 GlusterFS 提取一个大的 tarball () 需要长达 44 分钟的时间。直接在同一磁盘上提取相同的文件所需时间不到 2。删除创建的树也存在类似的差异（通过 gluster 需要 10 分钟）...

当然，可以预见的是，需要进行镜像，等等，使用网络的文件系统会更慢——但是慢30 倍？简单地复制大文件速度很快——所以这不是我们所缺乏的带宽。当解压正在运行时，我看到glusterfs（客户端）和glusterfsd（服务器）进程都消耗了大量的 CPU（每个进程大约 10%），但系统仍然保持大约 70% 的空闲状态——两个 gluster 进程都消耗了大量的 CPU。比提取 bzip2 和 tar 更忙......他们在做什么？

我可以做一些调整来显着提高性能吗？或者我应该尝试ceph（或gfarm？）而不是 gluster ？或者对于大量的小文件来说它们都很糟糕？谢谢你！

Answer 1

Gluster在处理大量小文件时表现很糟糕。至少，从 3.6 版本开始。他们声称已经发布的 3.7 测试版极大地改善了这个问题。我认为这个版本很快就会发布稳定版本，因为 Beta 版本已于 4 月 28 日发布，并且他们计划在本月早些时候发布稳定版本。