use*_*627 5 r amazon-web-services slurm
我目前有R代码可以通过带有shell和批处理脚本的Slurm管理器运行.本质上,我的shell脚本创建了1000个作业数组,然后调用批处理脚本1000次.
我想知道如何采用这种设置以及将其转移到Amazon AWS的最有效方法.如果不是,亚马逊AWS中多次运行R脚本并利用尽可能多的内核的最有效方法是什么?RStudio Server是一个不错的选择吗?
任何建议将不胜感激.谢谢!
StarCluster 可能是一个不错的选择:
\n\n星团是适用于 Amazon\xe2\x80\x99s 弹性计算云 (EC2) 的开源集群计算工具包
\n\n它是麻省理工学院 STAR 计划的一部分,旨在弥合科学研究与课堂之间的鸿沟
\n\n您可以轻松部署任何规模并由您选择的实例组成的集群。NFS、MPI 和 OpenGrid 资源管理器将开箱即用。您还可以在集群上安装 SLURM。使用单个命令,您可以启动或关闭集群。
\n\n创建和管理集群的简单命令如下:
\n\n\n\n* 创建和管理集群 *
\n\nStarCluster 允许在云中轻松创建一个或多个虚拟机集群:
\n\n$ starcluster 开始 -s 10 mycluster
\n\n使用 listclusters 命令来跟踪您的集群:
\n\n$ starcluster 列表簇
\n\n登录集群的主节点:
\n\n$ starcluster sshmaster mycluster
\n\n向集群添加更多节点以获得更多计算能力:
\n\n$ starcluster addnode mycluster
\n\n从集群中删除空闲节点以最大限度地降低成本:
\n\n$ starcluster 删除节点 mycluster node003
\n\n当您\xe2\x80\x99 使用完集群并希望停止付费时:
\n\n$ starcluster 终止 mycluster
\n