使用Louis Aslett在EC2上的AMI将大文件上传到RStudio

Question

按照这个简单的教程http://www.louisaslett.com/RStudio_AMI/和视频指南http://www.louisaslett.com/RStudio_AMI/video_guide.html后,我在EC2上设置了一个RStudio环境.

唯一的问题是,我无法上传大文件(> 1GB).

我可以上传小文件就好了.

当我尝试通过RStudio上传文件时,它给出了以下错误:

来自服务器的意外空响应

有谁知道如何上传这些大文件以供在RStudio中使用？这就是我首先使用EC2(处理大数据)的全部原因.

Answer 1

好的,所以我自己也有同样的问题而且非常令人沮丧,但最终我意识到这里发生了什么.无论实例的大小如何,AWS的默认主目录大小都小于8-10GB.因此,尝试上传到家,然后没有足够的空间.一个经验丰富的Linux用户不会陷入这个陷阱,但希望任何其他遇到此问题的Windows用户都会看到这个.如果您上传到实例上的其他驱动器,则可以解决此问题.由于Louis Aslett Rstudio AMI基于这个8-10GB的空间,因此您必须在此主目录之外设置您的工作目录.从Rstudio服务器界面看不直观.虽然这是一个高级论坛,这是一个菜鸟错误,我希望没有人删除这个问题,因为我花了几个月的时间,我认为其他人也会.我希望这对你有意义吗？

Answer 2

您没有对 Amazon 服务器的 shell 访问权限吗？不要依赖 RStudio 的上传（合理地可能有 2Gb 限制）并使用适当的 unix 开发工具：

rsync -avz myHugeFile.dat amazonusername@my.amazon.host.ip:

在本地 PC 命令行上（安装 cygwin 或其他 unixy 兼容系统）会将您的大文件传输到您的亚马逊服务器，如果中断将从该点恢复，也会压缩数据以进行传输。

对于类似这样的 Windows GUI，WinSCP 是我们在 Linux 出现之前的糟糕日子里所做的事情。