小编Reh*_*man的帖子

如何将不适合内存的巨大数据集拆分并加载到pytorch Dataloader中?

我正在训练一个深度学习模型,使用 Google 的 Colab 对 NIH 的 Chest Xray-14 数据集中的疾病进行多标签分类。鉴于大约 112k 训练示例和有限的 RAM,我无法一次将所有图像加载到 Dataloader 中。

有没有一种方法可以将图像路径存储在 pytorch 的 DataLoader 中,只读取训练期间当前迭代所需的图像,一旦迭代完成,图像就会从内存中卸载,依此类推,直到一个 epoch 完成。

machine-learning computer-vision deep-learning pytorch

5
推荐指数
1
解决办法
2715
查看次数