Torch 7如何加载不适合内存的非常大的数据集?

use*_*168 3 machine-learning deep-learning torch

我有一些非常大的数据集,我想加载到Torch.但在运行学习算法之前,我无法将它们完全加载到内存中.

我该怎么做才能最大限度地提高性能

del*_*eil 6

看看imagenet-multiGPU.torch全栈示例代码.它包含一个数据加载器(dataset.lua),能够一次采样一批图像,防止预加载内存中的所有内容:

local inputs, labels = trainLoader:sample(opt.batchSize)
Run Code Online (Sandbox Code Playgroud)

(train.lua详情请见)