小编use*_*500的帖子

分布式深度学习中局部排名意味着什么?

https://github.com/huggingface/transformers/blob/master/examples/run_glue.py

我想调整这个脚本来对我的数据进行文本分类。用于此任务的计算机是一台带有两个显卡的单机。local_rank因此,这涉及到对上面脚本中的术语进行某种“分布式”训练,尤其是当local_rank等于 0 或 -1 时,如第 83 行所示。

在阅读了一些分布式计算的材料后,我想这local_rank就像机器的 ID。0 可能意味着该机器是计算中的“主要”或“头”。但-1是什么?

distributed-computing deep-learning pytorch

5
推荐指数
1
解决办法
1万
查看次数