亚马逊AWS上为Slurm管理器设计并行运行R代码的最佳选择是什么?

use*_*627 5 r amazon-web-services slurm

我目前有R代码可以通过带有shell和批处理脚本的Slurm管理器运行.本质上,我的shell脚本创建了1000个作业数组,然后调用批处理脚本1000次.

我想知道如何采用这种设置以及将其转移到Amazon AWS的最有效方法.如果不是,亚马逊AWS中多次运行R脚本并利用尽可能多的内核的最有效方法是什么?RStudio Server是一个不错的选择吗?

任何建议将不胜感激.谢谢!

Ser*_*kel 2

StarCluster 可能是一个不错的选择:

\n\n

星团是适用于 Amazon\xe2\x80\x99s 弹性计算云 (EC2) 的开源集群计算工具包

\n\n

它是麻省理工学院 STAR 计划的一部分,旨在弥合科学研究与课堂之间的鸿沟

\n\n

您可以轻松部署任何规模并由您选择的实例组成的集群。NFS、MPI 和 OpenGrid 资源管理器将开箱即用。您还可以在集群上安装 SLURM。使用单个命令,您可以启动或关闭集群。

\n\n

创建和管理集群的简单命令如下

\n\n
\n

* 创建和管理集群 *

\n\n

StarCluster 允许在云中轻松创建一个或多个虚拟机集群:

\n\n

$ starcluster 开始 -s 10 mycluster

\n\n

使用 listclusters 命令来跟踪您的集群:

\n\n

$ starcluster 列表簇

\n\n

登录集群的主节点:

\n\n

$ starcluster sshmaster mycluster

\n\n

向集群添加更多节点以获得更多计算能力:

\n\n

$ starcluster addnode mycluster

\n\n

从集群中删除空闲节点以最大限度地降低成本:

\n\n

$ starcluster 删除节点 mycluster node003

\n\n

当您\xe2\x80\x99 使用完集群并希望停止付费时:

\n\n

$ starcluster 终止 mycluster

\n
\n