Tensorflow相同的代码但从CPU设备到GPU设备获得不同的结果

Question

我正在尝试实现一个程序来测试GPU设备上的Tensorflow性能.数据测试是MNIST数据,使用多层感知器(神经网络)进行监督训练.我按照这个简单的例子,但我将性能批量渐变的数量更改为10000

for i in range(10000) :
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step,feed_dict={x : batch_xs, y_ : batch_ys})
if i % 500 == 0:
    print(i)

最终,当我使用此代码检查预测准确性时

correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction,"float"))
print(sess.run(accuracy,feed_dict={x:mnist.test.images,y_:mnist.test.labels}))
print(tf.convert_to_tensor(mnist.test.images).get_shape())

事实证明,从CPU到GPU的准确率不同:当GPU返回约0.9xx的准确率时,CPU只返回0.3xx.有谁知道原因？或者为什么会出现这个问题？

Answer 1

这种行为有两个主要原因(除了错误).

数值稳定性

事实证明,添加数字并不像看起来那么容易.假设我想在一起增加一万亿.正确的答案是两万亿.但是如果你在一个只有字数大小的机器上以浮点形式将它们加在一起,比如32位,过了一会儿,你的答案就会卡在一个较小的值上.原因是,经过一段时间后,您添加的2是低于浮点和的尾数的最小位.

这些种类的问题层出不穷在数值计算,和这个特定的差异是已知的TensorFlow(1,2,仅举几例).您可能会看到这种效果.

初始状态

训练神经网络是一个随机过程,因此,它取决于您的初始条件.有时候,特别是如果你的超参数调整得不好,你的网络会陷入一个糟糕的局部最小值,你最终会得到平庸的行为.调整优化器参数(或更好,使用像Adam这样的自适应方法)可能会有所帮助.

当然,尽管如此,这是一个相当大的差异,所以在将其归咎于基础数学包或运气不好之前,我会仔细检查你的结果.