非确定性梯度计算

Question

我意识到每次训练时我的模型最终会变得不同,即使我保持TensorFlow随机种子相同.

我证实了这一点:

• 初始化是确定性的; 在第一次更新之前,权重是相同的.
• 输入是确定性的.事实上,包括损失在内的各种正向计算在第一批中是相同的.
• 第一批的渐变是不同的.具体来说,我正在比较的输出tf.gradients(loss, train_variables).虽然loss并且train_variables具有相同的值,但是对于一些变量,梯度有时是不同的.差异非常显着(有时单个变量的梯度的绝对差值之和大于1).

我得出结论,这是导致非确定性的梯度计算.我看了一下这个问题,当用intra_op_parallelism_thread=1和运行CPU时问题仍然存在inter_op_parallelism_thread=1.

当前向传球不是时,后向传球如何是不确定的？我怎么能进一步调试呢？

Answer 1

这个答案可能看起来有点明显，但是您是否使用某种非确定性正则化（例如 dropout）？鉴于 dropout 在训练时随机“丢弃”一些连接，它可能会导致梯度上的差异。

编辑：类似问题：

• 如何使用 TensorFlow 获得稳定的结果，设置随机种子
• Tensorflow 不是确定性的，它应该是确定性的

编辑 2：这似乎是 TensorFlow 实现的问题。请参阅 GitHub 中的以下未解决问题：

• 让 TensorFlow 表现确定性的问题
• 在 GPU 上运行时的非确定性行为