小编dse*_*sto的帖子

我尝试按照我在此处找到的google教程运行下面的代码:https://cloud.google.com/docs/authentication/production

def implicit():
    from google.cloud import storage

    # If you don't specify credentials when constructing the client, the
    # client library will look for credentials in the environment.
    project = 'my_project_name'
    storage_client = storage.Client(project=project)

    # Make an authenticated API request
    buckets = list(storage_client.list_buckets())
    print(buckets)

implicit()

但它一直给我以下错误:

Traceback (most recent call last):
  File "[PATH]/scratch_5.py", line 13, in <module>
    implicit()
  File "[PATH]/scratch_5.py", line 2, in implicit
    from google.cloud import storage
ImportError: cannot import name storage

有人可以帮我吗？

我是该项目的一部分，我们使用托管在google cloud source repository上的 git 存储库。现在我们使用谷歌云存储来存储原始数据和处理过的数据。

参与项目的每个人都下载数据并将其放在本地./data文件夹中，该文件夹为.gitignore-ed。

我更喜欢使用git LFS，但如果数据必须存储在外部某个地方，则它可能只是 GCS。

是否可以配置 git LFS、Google Cloud Source Repository 和 Google Cloud Storage，使用 git LFS 使用指向 GCS 数据文件的指针（而不是其他一些外部服务器），同时保持 Google 提供的完全安全性，以及帐户身份验证、SSH 等。 ?

我正在使用Google的Stackdriver Logging Client Libraries for Python以编程方式检索日志条目,类似于使用gcloud beta logging read.

Stackdriver还提供了一个API来检索日志名称列表,这很可能是gcloud beta logging logs list使用的.

如何将该API与Python客户端库一起使用？我在文档中找不到任何内容.

我想务实地检查特定的谷歌云存储桶中是否存在对象。根据对象可用性，我将执行进一步的操作。

我已经浏览了https://cloud.google.com/storage/docs/gsutil/commands/stat和 doc 提到“ gsutil -q ”对于编写脚本很有用，因为现有对象的退出状态为 0 和 1对于一个不存在的对象。但是当我使用命令时它不能正常工作。请让我知道是否有人以前尝试过这个？

#!/bin/bash
gsutil -q stat gs://<bucketname>/object

return_value=$?

if [ $return_value != 0 ]; then
    echo "folder exist"
else
    echo "folder does not exist"
fi

我正在尝试在 Dataproc 集群上提交 Spark 作业。该作业需要多个系统属性。我只能通过一个，如下所示：

gcloud dataproc jobs submit spark \                                   
    --cluster <cluster_name> \
    --class <class_name> \
    --properties spark.driver.extraJavaOptions=-Dhost=127.0.0.1  \
    --jars spark_job.jar

如何传递多个属性？我尝试如下，即使这样也不起作用。

--properties ^#^spark.driver.extraJavaOptions=-Dhost=127.0.0.1,-Dlimit=10

{
 "code": 5,
 "message": "Method does not exist.",
 "details": [
  {
   "@type": "type.googleapis.com/google.rpc.DebugInfo",
   "stackEntries": [],
   "detail": "service_control"
  }
 ]
}

除了尝试加载根路径（在“ /”处）时，我的Cloud Endpoints部署似乎运行良好。端点出现在控制台中，但是尝试加载它会输出上面的错误。

我已经搜索了所有内容，但是在任何地方都只能找到一个参考（现在在移动设备上，但是当我再次找到它时，会在这里添加它）。

如何跨账户（项目）共享和恢复云sql备份文件

我有一个 Keras .h5 模型，我一直在本地训练它，但是现在希望通过 Google Cloud ML-Engine 自动化整个过程。

我已将所有 GCloud Storage 存储桶设置为可从应用程序访问，并且我已阅读有关配置作业以提交Keras模型以在 GCloud ML-Engine 中进行训练的信息。但是，所有这些教程（包括 google cloud ml-engine 上的文档）都声明要运行作业最好从命令行运行gcloud ml-engine jobs submit training。

不过，我知道 Google Cloud 有一个 Python 客户端库，但它的文档似乎有点不透明。

有人知道我是否可以完全从 python 文件本身提交模型的训练（通过直接 API 调用或通过 Google 客户端库）？我问是因为我希望把它变成一个完全自动化的、托管的 Flask 网络应用程序，用于模型训练，所以它需要尽可能地放手。

大家好，我遇到了一个让我发疯的酒吧订阅问题。基本上我有一个具有 pubsub 管理权限的服务帐户，但我无法让任何东西工作并且收到以下错误：

错误：root：AuthMetadataPluginCallback“”引发异常！回溯（最近一次调用最后）：文件“/usr/local/lib/python2.7/dist-packages/grpc/_plugin_wrapping.py”，第77行，调用callback_state ，callback））文件“/usr/local/lib /python2.7/dist-packages/google/auth/transport/grpc.py”，第 77 行，调用 回调（self._get_authorization_headers（context），无）文件“/usr/local/lib/python2.7/dist -packages/google/auth/transport/grpc.py”，第 61 行，在 _get_authorization_headers self._credentials.before_request( AttributeError: 'str' 对象没有属性 'before_request'

代码超级简单

 from google.cloud import pubsub

 credentials = '/home/airflow/Desktop/test/config/test.json'

 publisher = pubsub.PublisherClient(credentials=credentials)
 topic_path = publisher.topic_path("test-proj", "test")

 for n in range(1, 2):
  data = u'Message number {}'.format(n)
  # Data must be a bytestring
  data = data.encode('utf-8')
  test = publisher.publish(topic_path, data=data).result()
  print(test, "s")

艾米的帮助将非常感激，因为错误消息对我来说没有多大意义。谢谢

我创建了一个dag，并每天进行调度。它每天都会排队，但任务实际上并未运行。这个问题过去曾在这里提出过，但是答案并没有帮助我，因此似乎还有另一个问题。

我的代码在下面共享。我用注释替换了任务t2的SQL。当我使用“ airflow test ...”在CLI上分别运行它们时，每个任务都成功运行。

您能解释一下如何使DAG运行吗？谢谢！

这是DAG代码：

from datetime import timedelta, datetime
from airflow import DAG
from airflow.contrib.operators.bigquery_operator import BigQueryOperator



default_args = {
    'owner' : 'me',
    'depends_on_past' : 'true',
    'start_date' : datetime(2018, 06, 25),
    'email' : ['myemail@moovit.com'],
    'email_on_failure':True,
    'email_on_retry':False,
    'retries' : 2,
    'retry_delay' : timedelta(minutes=5)
}


dag = DAG('my_agg_table',
default_args = default_args,
schedule_interval = "30 4 * * *"
)



t1 = BigQueryOperator(
    task_id='bq_delete_my_agg_table',
    use_legacy_sql=False,
    write_disposition='WRITE_TRUNCATE',
    allow_large_results=True,
    bql='''
    delete `my_project.agg.my_agg_table`
    where date = '{{ macros.ds_add(ds, -1)}}' …