小编Kin*_*ugo的帖子

如何使用 torch Vision 在 Google Colab 上加载 CelebA 数据集,而不会耗尽内存?

我正在关注DCGAN教程。每当我尝试加载 CelebA 数据集时,torchvision 都会耗尽我所有的运行时内存(12GB)并且运行时崩溃。我正在寻找如何在不占用运行时资源的情况下加载数据集并将转换应用于数据集的方法。

重现

这是导致问题的代码部分。

# Root directory for the dataset
data_root = 'data/celeba'
# Spatial size of training images, images are resized to this size.
image_size = 64

celeba_data = datasets.CelebA(data_root,
                              download=True,
                              transform=transforms.Compose([
                                  transforms.Resize(image_size),
                                  transforms.CenterCrop(image_size),
                                  transforms.ToTensor(),
                                  transforms.Normalize(mean=[0.5, 0.5, 0.5],
                                                       std=[0.5, 0.5, 0.5])
                              ]))
Run Code Online (Sandbox Code Playgroud)

完整的笔记本可以在这里找到

环境

  • PyTorch版本:1.7.1+cu101

  • 是否调试版本:False

  • 用于构建 PyTorch 的 CUDA:10.1

  • 用于构建 PyTorch 的 ROCM:N/A

  • 操作系统:Ubuntu 18.04.5 LTS (x86_64)

  • GCC版本:(Ubuntu 7.5.0-3ubuntu1~18.04)7.5.0

  • Clang 版本:6.0.0-1ubuntu2 (tags/RELEASE_600/final)

  • CMake版本:版本3.12.0

  • Python版本:3.6(64位运行时)

  • CUDA 是否可用: 是

  • CUDA 运行时版本:10.1.243

  • GPU型号和配置:GPU 0:Tesla T4

  • Nvidia驱动程序版本:418.67

  • cuDNN版本:/usr/lib/x86_64-linux-gnu/libcudnn.so.7.6.5 …

python dataset pytorch torchvision pytorch-dataloader

6
推荐指数
1
解决办法
1万
查看次数