如何mapreduce谷歌云存储文件？

Question

从应用程序引擎的MapReduce控制台(myappid.appspot.com/mapreduce/status)我有input_reader定义映射缩减:mapreduce.input_readers.BlobstoreLineInputReader了我与一个普通Blob存储文件成功使用,但不以工作使用create_gs_key从云存储创建Blobkey.当我运行它时,我收到错误"BadReaderParamsError:找不到密钥THEKEY的blobinfo".输入阅读器检查是否存在BlobInfo.这有什么工作吗？不应该BlobInfo.get(BLOBKEY FROM CS)返回一个blobinfo？

要从谷歌云存储文件中获取blob_key,我运行这个:

from google.appengine.ext import blobstore
READ_PATH = '/gs/mybucket/myfile.json'
blob_key =  blobstore.create_gs_key(READ_PATH)
print blob_key

Answer 1

社区成员为appengine-mapreduce库创建了一个针对云存储的LineInputReader:http://code.google.com/p/appengine-mapreduce/issues/detail？ id = 140

我们在这里发布了我们的修改:https://github.com/thinkjson/CloudStorageLineInputReader

我们使用它来对大约4TB的数据进行MapReduce,并且到目前为止对它一直很满意.