将s3数据迁移到Google云端存储

Question

我在Google App Engine上部署了一个python Web应用程序.

我需要获取存储在Amazon S3上的日志文件并将其加载到Google Cloud Storage中.一旦进入Google云端存储,我可能需要执行一些转换,最终将数据导入BigQuery进行分析.

我尝试使用gsutil作为某种概念证明,因为boto是在gsutil的引擎盖下,我想在我的项目中使用boto.这没用.

我想知道是否有人设法直接在2个云之间传输文件.如果可能的话,我想看一个简单的例子.最后,这个任务必须通过在GAE上执行的代码来完成.

Answer 1

根据此主题,您可以使用gsutil将数据从S3流式传输到Google云端存储,但每个字节仍需要两次跳转:S3到您的本地计算机,然后您的计算机到GCS.但是,由于您正在使用App Engine,因此您应该能够从S3中提取并存入GCS.除了App Engine是中介之外,它与上面的进展相同,即每个字节从S3传输到您的应用程序,然后传输到GCS.您可以使用boto作为推送端,使用Google Cloud Storage API作为推送端.

Answer 2

据我所知，没有任何云提供商提供用于将数据传输到竞争云提供商的 API。云提供商没有动力帮助您将数据转移到竞争对手中。您几乎肯定必须将数据读取到中间机器，然后将其写入 Google。