小编Jos*_*tez的帖子

有谁知道GCE是否有Starcluster等价物？我非常高兴使用Starcluster和EC2进行令人尴尬的并行工作.现在我想试试GCE.我很乐意为可能正在进行的任何项目做出贡献,但我没有找到任何东西.

现在,我想我只需手动安装我需要的软件(即Open Grid Engine)并生成一个复制图像.不是太难,但我想我先在这里查看.

在扩展使用云实例上的所有内核时,有没有其他人注意到可怕的性能有些内存紧张的工作(在我的情况下为2.5GB)？

当我在我的四核至强芯片上本地运行作业时,使用1核和所有4核之间的差异是所有核心减慢约25%.这是我所理解的; 随着内核耗尽,时钟速率下降是多核芯片设计的一部分.

但是,当我在多核虚拟实例上运行作业时,我看到使用1核和所有核之间的处理时间减少了2x - 4x.我在GCE,EC2和Rackspace实例上看过这个.我测试了许多不同的实例类型,大多数是最快的.

因此,其他人在内存使用量相同的情况下会看到这种行为吗？

我正在运行的工作是用fortran编写的.我没有写它们,我不是一个真正的强人,所以我对它们的了解是有限的.我知道他们的I/O需求很低.当我在跑步时看顶部时,它们似乎是CPU限制的.它们在不需要彼此通信的情况下运行,即,令人尴尬的并行.它们每个内存大约需要2.5GB.

所以到目前为止我最好的猜测是,占用这么多内存的工作会受到虚拟化层内存管理的巨大冲击.也可能是我的工作正在竞争I/O资源,但据专家称,这似乎不太可能.

我现在的解决方法是使用GCE,因为他们拥有的单核实例实际上可以像笔记本电脑的芯片那样快速地运行作业,并且几乎按核心价格成比例.

我需要在Google Compute Engine上设置并运行"令人尴尬"的并行作业.我正在寻找工具来促进这一点.

在EC2上,我使用MIT的Starcluster来设置集群,然后将作业提交给SGE.

Google Compute Engine还有类似的工具吗？

如果没有,我可能会手动设置一个Condor Cluster来完成这些工作.嗡嗡杀人.