使用AWS的雪(和降雪)在R中进行并行处理

Question

关于我之前的类似SO问题,我尝试在AWS上使用雪/降雪进行并行计算.

我做的是:

• 在sfInit()函数中,我提供了公共DNS到这样的socketHosts参数 sfInit(parallel=TRUE,socketHosts =list("ec2-00-00-00-000.compute-1.amazonaws.com"))
• 返回的错误是 Permission denied (publickey)
• 然后我按照'无密码安全外壳(SSH)登录'部分中的http://www.imbi.uni-freiburg.de/parallel/上的说明(我假设正确!)
• 我只是将我在AWS上创建的.pem文件的内容捕获到我要从我的主AWS实例连接的AWS实例的〜/ .ssh/authorized_keys以及主AWS实例中.

我有什么遗漏的吗？如果用户可以分享他们在AWS上使用雪的经验,我将非常感激.

非常感谢你的建议.

更新:我只是想更新我发现的具体问题的解决方案:

• 我使用StarCluster来设置我的AWS集群:StarCluster
• snowfall在群集的所有节点上安装的包
• 从主节点发出以下命令
• hostslist <- list("ec2-xxx-xx-xxx-xxx.compute-1.amazonaws.com","ec2-xx-xx-xxx-xxx.compute-1.amazonaws.com")
• sfInit(parallel=TRUE, cpus=2, type="SOCK",socketHosts=hostslist)
• l <- sfLapply(1:2,function(x)system("ifconfig",intern=T))
• lapply(l,function(x)x[2])
• sfStop()
• ip信息确认正在使用AWS节点

Answer 1

我相信@Anatoliy 是正确的：您正在使用 X.509 证书。有关添加 SSH 密钥的具体步骤，请参阅EC2 初学者指南的“凭证类型”部分。

要上传您自己的 SSH 密钥，请查看Alestic 的此页面。

一开始有点令人困惑，但您需要清楚哪些是访问密钥、证书和密钥对，它们可能出现在带有 DSA 或 RSA 的文本文件中。