梯度下降和梯度上升之间有什么区别？
use*_*423 17 optimization machine-learning mathematical-optimization
我无法找到有关渐变上升的任何信息.任何有关梯度上升的良好链接都可以说明它与梯度下降的不同之处.
Sea*_*wen 21
它没有什么不同.梯度上升只是最大化而不是最小化损失函数的过程.其他一切都完全一样.你可以说,上升到一些损失函数,就像在损失函数的负面上的梯度下降.
- 基本上在渐变下降中你最小化错误,而在渐变上升你最大化利润 (4认同)
小智 16
通常,您使用渐变上升来最大化似然函数,并使用梯度下降来最小化成本函数.梯度下降和上升几乎都是相同的.让我举一个具体的例子,使用一个简单的基于梯度的优化友好算法和一个凹/似然/成本函数:逻辑回归.
不幸的是,SO似乎仍然不支持LaTeX,所以让我发布一些截图.
要在逻辑回归中最大化的似然函数是
其中"phi"只是sigmoid函数
现在,你想要一个用于渐变上升的concav函数,从而获取日志:
类似地,您可以将其写为反向,以获得可通过梯度下降最小化的成本函数.
对于对数似然,您可以推导并应用渐变上升,如下所示:
由于您想要同时更新所有权重,我们将其写为
现在,应该很明显看到梯度下降更新与渐变上升更新相同,但请记住,我们正在将其制定为"向成本函数的梯度的相反方向迈出一步"
希望这能回答你的问题!