什么是梯度检查？

Question

我是深度学习的初学者.我发现了'渐变检查'的概念.

我只是想知道,它是什么以及它如何有助于改善培训过程？

Answer 1

为什么我们需要Gradient Checking？

作为算法的反向道具有很多细节,实施起来可能有点棘手.还有一个令人遗憾的特性是,有许多方法可以在后方道具中产生微妙的错误.因此,如果您使用渐变下降或其他一些优化算法运行它,它实际上看起来可能正常.而且你的成本函数,the of theta可能会在每次梯度下降迭代时最终减少.但即使你的后支柱的实现可能存在一些错误,这也可能是正确的.因此,看起来它们的数量正在减少,但你最终可能会遇到一个神经网络,它具有比无错误实现更高的错误级别.你可能只是不知道有这个微妙的错误让你表现更差.那么,我们能做些什么呢？有一种称为梯度检查的想法可以消除几乎所有这些问题.

什么是渐变检查？

我们描述了一种方法,用于数字检查由代码计算的导数,以确保您的实现是正确的.执行派生检查程序可以显着提高您对代码正确性的信心.

如果我不得不简单地说,Gradient Checking是一种调试你的后支撑算法.梯度检查基本上执行衍生检查程序.

如何实现渐变检查？

你可以在这里找到这个程序.