标签: gcloud-compute

我应该在 Google Cloud Platform (GCP) 上使用哪种 GPU

现在,我正在写硕士论文,需要在 GCP 上训练一个巨大的 Transformer 模型。而训练深度学习模型最快的方法就是使用 GPU。所以,我想知道我应该使用 GCP 提供的 GPU 中的哪一个?目前可用的有:

\n
    \n
  • NVIDIA\xc2\xae A100
  • \n
  • NVIDIA\xc2\xae T4
  • \n
  • NVIDIA\xc2\xae V100
  • \n
  • NVIDIA\xc2\xae P100
  • \n
  • NVIDIA\xc2\xae P4
  • \n
  • NVIDIA\xc2\xae K80
  • \n
\n

cloud gpu nvidia google-cloud-platform gcloud-compute

15
推荐指数
1
解决办法
9393
查看次数

我可以使用 googleapiclient python 客户端复制 `create-with-container` gcloud sdk 命令吗

我目前在 gcloud 容器存储库上有一个 docker 容器,我想启动它的一个实例以运行计算、保存结果并关闭:

gcloud compute instances create-with-container test-1 \
--machine-type=n1-standard-4 \
--boot-disk-size=20GB \
--container-image=eu.gcr.io/<container-link> \
--container-env=GCLOUD_INPUT_FILENAME=file.txt \
--container-env=GCLOUD_PROJECT=project-name
Run Code Online (Sandbox Code Playgroud)

但是,我希望能够使用 Web 界面(flask)启动这些实例,这意味着我想使用 googleapiclient python)来创建和管理这些实例:

看起来您可以使用发现 api 创建实例创建顺序:

gcloud compute instances create-with-container test-1 \
--machine-type=n1-standard-4 \
--boot-disk-size=20GB \
--container-image=eu.gcr.io/<container-link> \
--container-env=GCLOUD_INPUT_FILENAME=file.txt \
--container-env=GCLOUD_PROJECT=project-name
Run Code Online (Sandbox Code Playgroud)

但看起来不可能模拟create-with-containergcloud sdk 命令,尽管您可以将“machineImage”作为创建请求的一部分传递。

可以创建一个计算实例“with-container”而不使用subprocess调用 gcloud sdk

或者

我可以将create-with-container实例转换为机器映像然后使用吗googleapi client

google-api-python-client google-cloud-platform gcloud gcloud-compute

6
推荐指数
1
解决办法
520
查看次数

相互冲突的 Google Cloud 警告

TLDR 简介

硬盘大小低于 200Gb 的 gcloud 计算实例会收到警告,但当设置为 200Gb 时会收到另一个警告。

详细

当我们创建实例模板时,如下面的命令 01,如果将硬盘大小设置为 10Gb,我们会收到此警告

警告:您选择的磁盘大小小于 [200GB]。这可能会导致 I/O 性能不佳。有关更多信息,请参阅:https : //developers.google.com/compute/docs/disks#performance

虽然当我们将其设置为 200Gb 时,我们会在从该模板创建实例时收到此警告

警告:某些请求生成警告:磁盘大小:“200 GB”大于图像大小:“10 GB”。如果操作系统不支持自动调整大小,您可能需要手动调整根重新分区的大小。有关详细信息,请参阅https://cloud.google.com/compute/docs/disks/persistent-disks#repartitionrootpd

那么为什么你 gcloud 从一开始就警告我们关于 200Gb?我们应该怎么做才能在没有警告的情况下正确设置?

使用的命令

*command 01 - 创建实例模板

gcloud compute instance-templates create TEMPLATE-NAME
          --image='projects/ubuntu-os-cloud/global/images/ubuntu-1604-xenial-v20190212' \
          --custom-cpu=1 --custom-memory=2  \
          --boot-disk-size=200 --boot-disk-type=pd-standard 
Run Code Online (Sandbox Code Playgroud)

命令 02 - 从实例模板创建计算实例

gcloud compute instances create INSTANCE_NAME \
          --source-instance-template TEMPLATE_NAME \
          --project=$GC_PROJECT --zone=$zone 
Run Code Online (Sandbox Code Playgroud)

command-line gcloud devops gcloud-compute

5
推荐指数
0
解决办法
743
查看次数