使用卷积网络运行时会产生 nan 损失的张量流

Question

我试图在 tensorflow http://ufldl.stanford.edu/housenumbers/中为门牌号图像创建一个卷积神经网络

当我运行我的代码时，我在第一步中的成本是 nan 。这是我在其中放入代码的 github 的链接 https://github.com/ibnipun10/TensorFlow/blob/master/convhouseNumbers.ipynb

请让我知道我哪里出错了

Answer 1

损失是 NaN，因为梯度刚刚爆炸。

你的代码看起来不错，但你的学习率很高。尝试使用较低的学习率（如1e-2或1e-3），看看梯度是否仍然爆炸。

上瘾，我不知道您在训练中使用的图像是否刚刚转换为浮点值并缩放以具有零均值和单位范数，但通常这是处理图像时需要的一个步骤，有助于避免梯度爆炸。