将数据导入Google Colaboratory

Question

将私人数据导入Google Colaboratory笔记本的常用方法有哪些？是否可以导入非公开的Google表格？您无法从系统文件中读取.介绍性文档链接到使用BigQuery的指南,但这似乎有点......很多.

Answer 1

可在此处获取演示本地文件上载/下载以及与云端硬盘和工作表集成的官方示例笔记本:https: //colab.research.google.com/notebooks/io.ipynb

共享文件的最简单方法是安装Google云端硬盘.

为此,请在代码单元格中运行以下命令:

from google.colab import drive
drive.mount('/content/drive')

之后,您的Drive文件将被挂载,您可以使用侧面板中的文件浏览器进行浏览.

这是一个完整的示例笔记本

Answer 2

上传

from google.colab import files
files.upload()

下载

files.download('filename')

列表目录

files.os.listdir()

Answer 3

从googledrive导入数据的简单方法 - 这样做可以节省人们的时间(不知道谷歌为什么不明确地列出这一步).

安装和认证PYDRIVE

     !pip install -U -q PyDrive ## you will have install for every colab session

     from pydrive.auth import GoogleAuth
     from pydrive.drive import GoogleDrive
     from google.colab import auth
     from oauth2client.client import GoogleCredentials

     # 1. Authenticate and create the PyDrive client.
     auth.authenticate_user()
     gauth = GoogleAuth()
     gauth.credentials = GoogleCredentials.get_application_default()
     drive = GoogleDrive(gauth)

UPLOADING

如果您需要从本地驱动器上传数据:

    from google.colab import files

    uploaded = files.upload()

    for fn in uploaded.keys():
       print('User uploaded file "{name}" with length {length} bytes'.format(name=fn, length=len(uploaded[fn])))

执行,这将显示一个选择文件按钮 - 找到您的上传文件 - 单击打开

上传后,会显示:

    sample_file.json(text/plain) - 11733 bytes, last modified: x/xx/2018 - %100 done
    User uploaded file "sample_file.json" with length 11733 bytes

为笔记本创建文件

如果您的数据文件已在gdrive中,则可以跳到此步骤.

现在它在你的谷歌驱动器中.在google云端硬盘中找到该文件,然后右键单击.点击获取'可共享链接'.你会得到一个窗口:

    https://drive.google.com/open?id=29PGh8XCts3mlMP6zRphvnIcbv27boawn

复制 - '29PGh8XCts3mlMP6zRphvnIcbv27boawn' - 即文件ID.

在你的笔记本中:

    json_import = drive.CreateFile({'id':'29PGh8XCts3mlMP6zRphvnIcbv27boawn'})

    json_import.GetContentFile('sample.json') - 'sample.json' is the file name that will be accessible in the notebook.

将数据导入笔记本

要导入您上传到笔记本中的数据(本例中的json文件 - 如何加载将取决于文件/数据类型 - .txt,.csv等):

    sample_uploaded_data = json.load(open('sample.json'))

现在您可以打印以查看数据:

    print(sample_uploaded_data)

Answer 4

第1步-将您的Google云端硬盘安装到协作

from google.colab import drive
drive.mount('/content/gdrive')

第2步-现在，您将在左窗格（文件资源管理器）中看到您的Google云端硬盘文件。右键单击您需要导入的文件，然后选择çopypath。然后，使用此复制的路径照常导入熊猫。

import pandas as pd
df=pd.read_csv('gdrive/My Drive/data.csv')

做完了！

Answer 5

上传数据/将数据导入 Google colab GUI 的最佳且简单的方法是单击最左边的第三个选项“文件”菜单图标，您将在 Windows 操作系统中上传浏览器文件。检查下面的图像以便更好地理解。单击以下两个选项后，您将轻松获得上传窗口框。完工。

from google.colab import files
files=files.upload()

Answer 6

我做的最简单的方法是:

1. 使用您的数据集在github上创建存储库
2. 克隆您的存储库!git clone --recursive [GITHUB LINK REPO]
3. 找到你的数据在哪里(!ls命令)
4. 用普通的jupyter笔记本中的pandas打开文件.

Answer 7

这样您就可以通过Google云端硬盘上传文件了.

运行下面的代码(之前发现这个地方,但我再也找不到来源了 - 不管是谁写的!):

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse

from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass

!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

点击出现的第一个链接,提示您登录Google; 之后会出现另一个会要求获得访问您的Google云端硬盘的权限.

然后,运行此选项以创建名为"drive"的目录,并将您的Google云端硬盘链接到该目录:

!mkdir -p drive
!google-drive-ocamlfuse drive

如果你!ls现在这样做,会有一个目录驱动器,如果你这样做,!ls drive你可以看到你的谷歌硬盘的所有内容.

例如,如果我将我的文件保存在我的Google云端硬盘中调用abc.txt的文件夹ColabNotebooks中,我现在可以通过路径访问它drive/ColabNotebooks/abc.txt

Answer 8

在任何合作实验室的左侧栏上都有一个名为“文件”的部分。在那里上传您的文件并使用此路径

"/content/YourFileName.extension"

前任： pd.read_csv('/content/Forbes2015.csv');

Answer 9

从 Dropbox 快速轻松地导入：

!pip install dropbox
import dropbox
access_token = 'YOUR_ACCESS_TOKEN_HERE' # https://www.dropbox.com/developers/apps
dbx = dropbox.Dropbox(access_token)

# response = dbx.files_list_folder("")

metadata, res = dbx.files_download('/dataframe.pickle2')

with open('dataframe.pickle2', "wb") as f:
  f.write(res.content)

Answer 10

Colab 中只需两行代码。非常简单的方法：

\n

\n
1. 将一个 zip 存档中的所有文件加载到 Google 云端硬盘。
\n
2. 通过链接使其对每个人都可见。
\n
3. 从此链接复制 ID。（例如：在此链接中https://drive.google.com/open?id=29PGh8XCts3mlMP6zRphvnIcbv27boawn ID 为29PGh8XCts3mlMP6zRphvnIcbv27boawn）
\n
4. 在 Colab 中输入:\n!gdown --id 29PGh8XCts3mlMP6zRphvnIcbv27boawn
\n
5. 进入 Colab 的最后一步：\n! unzip file_name.zip
\n

\n

瞧\xc3\xa0！所有需要的文件都已准备好在 Colab 中使用/content/file_name.csv

\n

对于这种将文件从 Drive 获取到 Colab 的简单方法，我感谢 Gleb Mikhaylov。

\n