我试图理解分布式张量流中描述的图形内复制和图形间复制之间的差异,特别是如何在多个设备之间同步数据.
我的理解是,在图中复制中,每个工作者都不会在本地保留模型的副本,这似乎是图之间复制的主要区别.
因此,对于图内复制,每个操作的每个输入张量将是存储变量的位置的连接(可能在不同的Parameter Server机器上).在图形复制之间,数据被批量提取以同步所有参数.
我对这种解释是对的吗？
这是否意味着对于图中复制中的每个操作,数据都是从PS中提取的？
是拉动同步还是异步？
| 归档时间： |
|
| 查看次数： |
603 次 |
| 最近记录： |