PyTorch:如何将DataLoader用于自定义数据集

Question

如何利用torch.utils.data.Dataset和torch.utils.data.DataLoader你自己的数据(不只是torchvision.datasets)？

有没有办法使用DataLoaders他们使用的内置TorchVisionDatasets在任何数据集上使用？

Answer 1

是的,这是可能的.只需自己创建对象,例如

import torch.utils.data as data_utils

train = data_utils.TensorDataset(features, targets)
train_loader = data_utils.DataLoader(train, batch_size=50, shuffle=True)

在哪里features和targets是张量.features必须是2-D,即矩阵,其中每条线代表一个训练样本,并且targets可以是1-D或2-D,具体取决于您是否尝试预测标量或向量.

希望有所帮助!

编辑:回应@ sarthak的问题

基本上是的.如果创建一个类型的对象TensorData,那么构造函数会调查特征张量(实际调用的data_tensor)和目标张量(被调用target_tensor)的第一个维度是否具有相同的长度:

assert data_tensor.size(0) == target_tensor.size(0)

但是,如果您想随后将这些数据提供给神经网络,那么您需要小心.虽然卷积层对像你这样的数据起作用,但我认为,所有其他类型的层都希望数据以矩阵形式给出.因此,如果您遇到这样的问题,那么一个简单的解决方案就是FloatTensor使用该方法将您的4D数据集(例如某种张量给出)转换为矩阵view.对于5000xnxnx3数据集,这将如下所示:

2d_dataset = 4d_dataset.view(5000, -1)

(该值-1告诉PyTorch自动计算出第二个维度的长度.)

Answer 2

您可以轻松地扩展data.Dataset课程.根据API,您所要做的就是实现两个功能:__getitem__和__len__.

然后,您可以使用DataLoader包装数据集,如API和@ pho7的答案中所示.

我认为这个ImageFolder课程是一个参考.见代码在这里.

Answer 3

是的，你可以做到。希望这对未来的读者有所帮助。

from torch.utils.data import TensorDataset, DataLoader
import torch.utils.data as data_utils

inputs = [[ 1,  2,  3,  4,  5],[ 2,  3,  4,  5,  6]]
targets = [ 6,7]
batch_size = 2

inputs  = torch.tensor(inputs)
targets = torch.IntTensor(targets)
    
dataset = TensorDataset(inputs, targets)
data_loader = DataLoader(dataset, batch_size, shuffle=True)