通过 Tensorflow 利用多个 CPU 内核

Question

我可以使用具有多个 CPU 内核（即 56 个）的计算机，并且在使用 Tensorflow 训练模型时，我希望通过使每个内核成为模型的独立训练器来最大限度地利用上述内核。

在 Tensorflow 的文档中，我发现这两个参数（Inter 和 Intra Op 并行度）在训练模型时控制并行度。但是，这两个参数不允许执行我的意图。

我怎样才能让每个核心成为独立的工人？（即，一批样本由每个worker分片，然后每个worker根据分配的样本计算梯度。最后，每个worker根据它的梯度更新变量（由所有worker共享）计算过。

Answer 1

为了有效地在所有 56 个 CPU 核心之间进行并行化，您必须使用分布式 TensorFlow。也可以使用线程进行并行化，但对于如此多的内核来说它不能很好地扩展。