TensorFlow 放置算法

Question

我想知道 TensorFlow 的放置算法（如白皮书中所述）何时实际使用。到目前为止，我看到的所有用于分发 TensorFlow 的示例似乎都使用“tf.device()”手动指定节点应该在何处执行。

Answer 1

TensorFlow 白皮书第 3.2.1 节中描述的动态放置算法未包含在开源版本中。相反，使用了“简单的布局器”（其实现可以在 中找到simple_placer.cc），但它需要一些显式注释（via tf.device()）才能产生有效的布局。诸如tf.train.replica_device_setter()wrap 之类的高级构造tf.device()用于指定通用策略，例如“跨参数服务器分片变量，否则将所有操作放在工作设备上”，我们在分布式训练中广泛使用它。

在实践中，我们发现一小组注释通常会产生比动态布局器确定的更有效的布局，但改进布局算法仍然是一个活跃的研究领域。