小编Mor*_*Nia的帖子

我有 3TB 数据集和 64GB RAM 以及一个 12 核 CPU 和一个 12GB GPU。想在这个数据集上训练一个深度学习模型。如何异步加载批次和模型训练？我想确保数据的磁盘加载不会阻止训练循环等待新批次加载到内存中。

我不依赖于语言，并且是最简单的库，可以在没有摩擦的情况下做到这一点，但我更喜欢torch、pytorch、tensorflow 之一。