帮助我通过亚马逊的EC2复制数据并运行脚本

Question

就使用云计算而言,我是一个新手,但我得到了这个概念并且非常擅长遵循指令.我想对我的数据做一些模拟,每个步骤需要几分钟.鉴于我的数据中的层次结构,每组需要几个小时.我想通过在亚马逊的EC2云上运行它来加快速度.

阅读本文后,我知道如何启动AMI,通过shell连接到它,并在命令提示符下启动R.

我想要帮助的是能够复制数据(.rdata文件)和脚本,并在R命令提示符下获取它.然后,一旦将所有结果写入新的.rdata文件,我想将它们复制回本地计算机.

我该怎么做呢？

Answer 1

我对 R 不太了解，但我对其他语言做了类似的事情。我的建议可能会给你一些想法。

1. 在本地计算机上设置 FTP 服务器。
2. 创建一个与实例一起启动的“启动脚本”。
3. 让启动脚本从本地计算机下载 R 文件，初始化 R 并进行计算，然后将新文件上传到您的计算机。

启动脚本：

#!/bin/bash
set -e -x
apt-get update && apt-get install curl + "any packages you need"
wget ftp://yourlocalmachine:21/r_files > /mnt/data_old.R
R CMD BATCH data_old.R -> /mnt/data_new.R
/usr/bin/curl -T /mnt/data_new.r -u user:pass ftp://yourlocalmachine:21/new_r_files

使用启动脚本启动实例

ec2-run-instances --key KEYPAIR --user-data-file my_start_up_script ami-xxxxxx