我的 Google Colab 笔记本未使用我的 2TB Google 云端硬盘空间

Question

我的 Google 云端硬盘帐户上有 2TB 存储空间。

我想将它们与 Cloud Colab (GPU Python 3) 一起使用。

我已经安装了驱动器空间，但我仍然坚持使用 ~69GB 的 Colab 存储。

（参考：/sf/answers/4165932151/）

(1) 安装驱动器空间

WORKSPACE_PATH = 'ml/'

drive.mount('/content/drive/', force_remount=True)
ROOT_DIR  = '/content/drive/My Drive/science'
BASE_DIR  = os.path.join(ROOT_DIR, WORKSPACE_PATH)

输出：安装在/content/drive/

(2) 从GCS下载了大约40GB的数据：

bucker_name = 'my_bucket_name'
!gsutil -m cp gs://{bucket_name}/* 'path_to_my_mounted_drive'

输出：

Copying gs://xxx/test.h5...
Copying gs://xxx/train.h5...
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device

当我检查 Colab 存储可用空间时：我只有 3GB/69GB，而不是 2 TB...

我做错了什么？

Answer 1

据我了解，当安装驱动器时，它需要缓存来自Google Drive的数据。即使你在 GDrive 上有 2TB，你仍然会受到与以前相同的限制，因为数据需要复制和缓存。

因此，您可能需要复制一部分，将其删除，然后复制下一部分。这可能会慢一点。