PyTorch Dataloader:RAM 中完整的数据集

ped*_*gos 4 pytorch pytorch-dataloader

我想知道 PyTorch Dataloader 是否也可以将完整的数据集提取到 RAM 中,以便在有足够的 RAM 可用的情况下性能不会受到影响

Mis*_*mer 5

之前答案的具体示例:

class mydataset(torch.utils.data.Dataset):
    def __init__(self, data):
        self.data = data
    def __getitem__(self, index):
        return self.data['x'][index,:], self.data['y'][index,:]
    def __len__(self):
        return self.data['x'].shape[0]

torch_data_train = mydataset(data_train)
dataload_train = DataLoader(torch_data_train, batch_size=batch_size, shuffle=True, num_workers=2)
Run Code Online (Sandbox Code Playgroud)