如何使用在Java上运行的Google App Engine将批量数据上传到Google服务器？

Question

我无法弄清楚如何将批量数据上传到Google服务器,绕过10mb上传限制和30秒会话超时.我想设计一个应用程序来获取我的标准SQL数据并将其推送到Google的服务器.

我可能听起来很天真,但你的帮助对我的项目最有价值.

Answer 1

目前没有本地Java批量加载器,因此您需要做的就是使用Python批量加载器.过程如下:

首先,您需要下载Python SDK并将其解压缩.然后,创建一个空目录,并在其中创建一个名为app.yaml的文件,其中包含以下内容:

application: yourappid
version: bulkload
runtime: python
api_version: 1

handlers:
- url: /remote_api
  script: $PYTHON_LIB/google/appengine/ext/remote_api/handler.py
  login: admin

现在,从Python SDK运行"appcfg.py update yourdir",并在出现提示时输入您的凭据.appcfg将上传您的应用程序的新版本,该版本将与您的主版本并行运行,并允许您进行批量加载.

现在,要进行实际的批量加载,您需要使用Python Bulkloader.按照此处的说明操作.你需要知道(非常)一点点的Python,但它主要是复制和粘贴.完成后,您可以按照文章中的描述运行bulkloader,但在命令行中添加"-s bulkload.latest.yourapp.appspot.com"参数,如下所示:

appcfg.py upload_data --config_file=album_loader.py --filename=album_data.csv --kind=Album -s bulkload.latest.yourapp.appspot.com <app-directory>

最后,直接从SQL数据库,而不是从一个CSV文件中加载数据,请在我的博客文章中说明这里.