PyTorch DataLoader 对并行运行的批次使用相同的随机种子

Question

PyTorch/Numpy 中存在一个错误，即当与 a DataLoader（即设置num_workers > 1）并行加载批次时，每个工作线程使用相同的 NumPy 随机种子，导致并行批次之间应用的任何随机函数都是相同的。

最小的例子：

import numpy as np
from torch.utils.data import Dataset, DataLoader

class RandomDataset(Dataset):
    def __getitem__(self, index):
        return np.random.randint(0, 1000, 2)

    def __len__(self):
        return 9
    
dataset = RandomDataset()
dataloader = DataLoader(dataset, batch_size=1, num_workers=3)

for batch in dataloader:
    print(batch)

如您所见，对于每个并行批次集 (3)，结果是相同的：

# First 3 batches
tensor([[891, 674]])
tensor([[891, 674]])
tensor([[891, 674]])
# Second 3 batches
tensor([[545, 977]])
tensor([[545, 977]])
tensor([[545, 977]])
# Third 3 batches
tensor([[880, 688]])
tensor([[880, 688]])
tensor([[880, 688]])

解决这个问题的推荐/最优雅的方法是什么？即让每个批次产生不同的随机化，而不考虑工人的数量。

Answer 1

看起来这很有效，至少在 Colab 中是这样：

\n

dataloader = DataLoader(dataset, batch_size=1, num_workers=3, \n    worker_init_fn = lambda id: np.random.seed(id) )\n

\n

编辑：

\n

\n

当迭代历元时，它会产生相同的输出（即相同的问题）。\xe2\x80\x93 iacob

\n

\n

迄今为止我发现的最佳修复：

\n

...\ndataloader = DataLoader(ds, num_workers= num_w, \n           worker_init_fn = lambda id: np.random.seed(id + epoch * num_w ))\n\nfor epoch in range ( 2 ):\n    for batch in dataloader:\n        print(batch)\n    print()\n

\n

仍然不能建议封闭形式，事情取决于epoch随后调用的 var ( ) 。理想情况下，它必须类似于worker_init_fn = lambda id: np.random.seed(id + EAGER_EVAL(np.random.randint(10000) )EAGER_EVAL 在 lambda 作为参数传递之前评估加载器构造上的种子。我想知道在Python中可能吗？

\n