最近我一直在玩TensorFlow,我提到框架无法使用我所有可用的计算资源.在卷积神经网络教程中,他们提到了这一点
天真地使用模型参数的异步更新导致次优的训练性能,因为可以在模型参数的陈旧副本上训练单个模型副本.相反,采用完全同步更新将与最慢的模型副本一样慢.
虽然他们在教程和白皮书中都提到了它,但我并没有真正找到在本地机器上进行异步并行计算的方法.它甚至可能吗？或者它是TensorFlow的分布式待发布版本的一部分.如果是,那怎么样？
python tensorflow
python ×1
tensorflow ×1