小编Zha*_* Yu的帖子

当 num_workers > 0 时 PyTorch Dataloader 挂起

当 num_workers > 0 时,PyTorch Dataloader 挂起。代码挂起仅与500 MGPU 内存使用有关。

系统信息:NVIDIA-SMI 418.56 Driver Version: 418.56 CUDA Version: 10.1。pytorch1.5 或 pytorch1.6 出现同样的问题,代码在 anaconda envs 中运行。

请注意,当我在终端中将脚本作为 运行时会出现此错误 python main.py,但是当我在 Pycharm 或 VScode 上调试相同的代码时,或者当我在其他机器上运行相同的代码(在终端中)时,一切正常。关于这个原因的任何想法?

这是我ctrl c在终端中输入代码时的跟踪:

  File "train.py", line 226, in main
    train_domain_adaptation(model, source_loader, target_loader, val_loader,
  File "/home/zhangyu/codes/person_seg/IntraDA/ADVENT/advent/domain_adaptation/train_UDA.py", line 326, in train_domain_adaptation
    train_advent(model, trainloader, targetloader, val_loader, cfg, group=group, fk_loader=fk_loader)
  File "/home/zhangyu/codes/person_seg/IntraDA/ADVENT/advent/domain_adaptation/train_UDA.py", line 114, in train_advent
    _, (images_source, labels, src_names, voc_ids, _) = trainloader_iter.__next__()
  File "/home/zhangyu/anaconda3/envs/pt16/lib/python3.8/site-packages/torch/utils/data/dataloader.py", line …
Run Code Online (Sandbox Code Playgroud)

multiprocessing pytorch dataloader

5
推荐指数
0
解决办法
1733
查看次数

标签 统计

dataloader ×1

multiprocessing ×1

pytorch ×1