访问 ImageNet 数据下载

Question

ImageNet 网站http://www.image-net.org/download-images已授权我下载图像数据。并且页面显示：

您已被授权通过我们的网站访问整个 ImageNet 数据库。这样做即表示您同意访问条款。

下载为一个 tar 文件

目前无法获得完整的 ImageNet 数据。ILSVRC 的数据可用。

ImageNet 2011 年秋季发布MD5：...

来自 Deng 等人的 ImageNet10K。ECCV2010

但两个链接都显示“ OOPS该网址无效。” 当打开时。（这绝对不是由于我的网络或浏览器的问题。我可以通过ImageNet网页风格的一致性来判断这一点。我猜这些链接太旧了，移到了其他网址，但他们的网站没有立即更新）

我在这里有两个问题。

(1) 在哪里以及如何真正下载 ImageNet 数据（及其标签，用于分类任务）？

(2) 我想要数据来验证我论文中的方法。即使下载了数据集，恐怕也太大了。我是否必须在 ImageNet 上进行验证（因为它已在许多论文中被采用......）？Tiny ImageNet 数据页面在他们的网站上似乎没有损坏。但它的数据集要小得多。

Answer 1

可以使用 python 库下载它datasets：

>>> from datasets import load_dataset
>>> ds = load_dataset("imagenet-1k")
>>> train_ds = ds["train"]
>>> train_ds[0]["image"]  # a PIL Image

您可能需要安装它以及 Pillow，并在接受访问条款后登录 Hugging Face

pip install datasets Pillow
huggingface-cli login

您可以在 Hugging Face 的 ImageNet 页面上找到更多信息和下载文件的链接：https://huggingface.co/datasets/imagenet-1k

Answer 2

图像网下载：

转到https://www.kaggle.com/c/imagenet-object-localization-challenge并单击data选项卡。您可以使用 Kaggle API 在远程计算机上下载，或者直接在该页面下载您想要的所有文件。

在那里，他们提供标签和图像数据。

我不知道 ImageNet 网站出了什么问题，但是今天我的 url 列表链接也被破坏了。您仍然可以获取数据的一种方法是访问备用镜像，例如 Kaggle ImageNet 下载（我在上面提供的链接）。据我所知，Kaggle ImageNet 相当于他们网站上的 ImageNet。

我不确定如何回答你的第二个问题，因为我对你的项目了解不够。然而，ImageNet 可能会努力验证您的模型。