现在,我正在写硕士论文,需要在 GCP 上训练一个巨大的 Transformer 模型。而训练深度学习模型最快的方法就是使用 GPU。所以,我想知道我应该使用 GCP 提供的 GPU 中的哪一个?目前可用的有:
\n我目前在 gcloud 容器存储库上有一个 docker 容器,我想启动它的一个实例以运行计算、保存结果并关闭:
gcloud compute instances create-with-container test-1 \
--machine-type=n1-standard-4 \
--boot-disk-size=20GB \
--container-image=eu.gcr.io/<container-link> \
--container-env=GCLOUD_INPUT_FILENAME=file.txt \
--container-env=GCLOUD_PROJECT=project-name
Run Code Online (Sandbox Code Playgroud)
但是,我希望能够使用 Web 界面(flask)启动这些实例,这意味着我想使用 googleapiclient ( python)来创建和管理这些实例:
看起来您可以使用发现 api 创建实例创建顺序:
gcloud compute instances create-with-container test-1 \
--machine-type=n1-standard-4 \
--boot-disk-size=20GB \
--container-image=eu.gcr.io/<container-link> \
--container-env=GCLOUD_INPUT_FILENAME=file.txt \
--container-env=GCLOUD_PROJECT=project-name
Run Code Online (Sandbox Code Playgroud)
但看起来不可能模拟create-with-containergcloud sdk 命令,尽管您可以将“machineImage”作为创建请求的一部分传递。
可以创建一个计算实例“with-container”而不使用subprocess调用 gcloud sdk
或者
我可以将create-with-container实例转换为机器映像然后使用吗googleapi client?
google-api-python-client google-cloud-platform gcloud gcloud-compute
硬盘大小低于 200Gb 的 gcloud 计算实例会收到警告,但当设置为 200Gb 时会收到另一个警告。
当我们创建实例模板时,如下面的命令 01,如果将硬盘大小设置为 10Gb,我们会收到此警告
警告:您选择的磁盘大小小于 [200GB]。这可能会导致 I/O 性能不佳。有关更多信息,请参阅:https : //developers.google.com/compute/docs/disks#performance
虽然当我们将其设置为 200Gb 时,我们会在从该模板创建实例时收到此警告
警告:某些请求生成警告:磁盘大小:“200 GB”大于图像大小:“10 GB”。如果操作系统不支持自动调整大小,您可能需要手动调整根重新分区的大小。有关详细信息,请参阅https://cloud.google.com/compute/docs/disks/persistent-disks#repartitionrootpd。
那么为什么你 gcloud 从一开始就警告我们关于 200Gb?我们应该怎么做才能在没有警告的情况下正确设置?
*command 01 - 创建实例模板
gcloud compute instance-templates create TEMPLATE-NAME
--image='projects/ubuntu-os-cloud/global/images/ubuntu-1604-xenial-v20190212' \
--custom-cpu=1 --custom-memory=2 \
--boot-disk-size=200 --boot-disk-type=pd-standard
Run Code Online (Sandbox Code Playgroud)
命令 02 - 从实例模板创建计算实例
gcloud compute instances create INSTANCE_NAME \
--source-instance-template TEMPLATE_NAME \
--project=$GC_PROJECT --zone=$zone
Run Code Online (Sandbox Code Playgroud)