我想直接抓取互联网文件并将其粘贴到S3存储桶中,然后将其复制到PIG集群.由于文件的大小和我不太好的互联网连接,首先将文件下载到我的电脑上,然后将其上传到亚马逊可能不是一个选择.
有什么方法可以抓住互联网文件并将其直接插入S3吗？
我有一个在 Heroku 中运行的 nodejs 程序，它为我提供了文件的 URL。这些文件需要存储在 s3 存储桶中。
我的理解是无法将文件从 url 直接上传到 s3 存储桶。
您建议我如何将文件从 URL 获取到 s3 存储桶？我已经看到有关使用 EC2 实例的讨论，但希望尽可能避免这种情况。有没有办法只使用heroku和S3来做到这一点？