如何异步加载和训练批次以训练深度学习模型？

Question

我有 3TB 数据集和 64GB RAM 以及一个 12 核 CPU 和一个 12GB GPU。想在这个数据集上训练一个深度学习模型。如何异步加载批次和模型训练？我想确保数据的磁盘加载不会阻止训练循环等待新批次加载到内存中。

我不依赖于语言，并且是最简单的库，可以在没有摩擦的情况下做到这一点，但我更喜欢torch、pytorch、tensorflow 之一。

Answer 1

您是否尝试过任何可用的 Imagenet 代码？

1. 张量流： https: //github.com/tensorflow/models/tree/master/inception
2. 火炬： https: //github.com/soumith/imagenet-multiGPU.torch
3. Pytorch： https: //github.com/pytorch/examples/tree/master/imagenet

按照指定的格式准备数据。

这些不是您正在寻找的吗？