如何将文件夹上传到 Google Colab?

Mad*_*mik 15 directory file google-colaboratory

我想运行一个使用目录中定义的许多头文件的笔记本。所以基本上我想将整个目录上传到 Google Colab,以便我可以运行笔记本。但是我找不到任何这样的选项,只能上传文件而不是完整的文件夹。那么有人可以告诉我如何将整个目录上传到 google colab 吗?

mao*_*o95 21

我建议你不要只在 Colab 中上传它们,因为当你重新启动运行时你会丢失它们(只需要重新上传它们,但对于非常大的数据集可能是一个问题)。我建议您使用该google.colab包来管理 Colab 中的文件和文件夹。只需将您需要的所有内容上传到您的谷歌驱动器,然后导入:

from google.colab import drive
drive.mount('/content/gdrive')
Run Code Online (Sandbox Code Playgroud)

这样,您只需通过谷歌身份验证API登录您的谷歌帐户,您就可以像在Colab上上传文件/文件夹一样使用文件/文件夹。

  • 使用 Google Drive 作为大量文件的存储来训练模型的速度非常慢,如 /sf/ask/3455262191/ 所述。更好的解决方案是压缩文件,将它们上传到 colab,然后按照下一个答案的建议解压缩它们。 (4认同)
  • 您可以使用 `!cp 'path/to/file' 'path/to/drive'` 来管理它 (2认同)

Kor*_*ich 17

您可以压缩它们,上传,然后解压缩。

!解压缩文件.zip


小智 7

您可以创建一个git存储库并将文件和文件夹推送到其中,然后可以与命令合作克隆存储库

!git clone https://github.com/ {username}/{projectname}.git

我觉得这个方法更快。但如果文件大小超过 100 mb,则必须压缩文件或添加扩展名才能将其推送到 github。有关更多信息,请参阅下面的链接。

https://help.github.com/en/github/managing-large-files/configuring-git-large-file-storage


小智 6

如果文件夹/文件在您的本地驱动器上,最简单的方法是:

  1. 将文件夹压缩为 ZIP 文件。
  2. 使用文件部分中的上传按钮将压缩文件上传到 colab 。是的,有一个File部分,请参阅colab 屏幕左侧
  3. 使用这行代码提取文件。注意:文件路径来自 colab 的文件部分。
from zipfile import ZipFile
file_name = file_path

with ZipFile(file_name, 'r') as zip:
  zip.extractall()
  print('Done')
Run Code Online (Sandbox Code Playgroud)
  1. 单击colab文件部分中的刷新
  2. 通过文件路径访问文件夹中的文件

缺点:运行结束后文件将被删除。

如果您的文件在 Google Drive 上,您可以使用这些步骤的一部分,只需将压缩文件从 Google Drive 上传到 colab。