小编Den*_*Lee的帖子

Hadoop无法连接到Google云端存储

我正在尝试将在Google Cloud VM上运行的Hadoop连接到Google云端存储.我有:

  • 修改core-site.xml以包含fs.gs.impl和fs.AbstractFileSystem.gs.impl的属性
  • 在生成的hadoop-env.sh中下载并引用了gcs-connector-latest-hadoop2.jar
  • 通过gcloud auth登录使用我的个人帐户(而不是服务帐户)进行身份验证.

我可以运行gsutil -ls gs:// mybucket /但没有任何问题,但是当我执行时

hadoop fs -ls gs:// mybucket /

我得到输出:

14/09/30 23:29:31 INFO gcs.GoogleHadoopFileSystemBase: GHFS version: 1.2.9-hadoop2 

ls: Error getting access token from metadata server at: http://metadata/computeMetadata/v1/instance/service-accounts/default/token
Run Code Online (Sandbox Code Playgroud)

想知道我缺少哪些步骤让Hadoop能够看到Google存储?

谢谢!

google-app-engine hadoop google-cloud-storage google-hadoop

5
推荐指数
1
解决办法
2522
查看次数