Gradient Desent与Hill Climbing之间的行为差​​异

Question

我试图理解这两种算法之间的区别以及它们在解决问题方面的区别.我看过算法和它们的内部.从其他已经有过经验的人那里听到会很好.特别是,我想知道他们在同一个问题上的行为方式如何.

谢谢.

Answer 1

区别

difference两者之间的主要是direction他们移动到达当地最小值(或最大值).

• 在Hill Climbing我们只 移动one element时vector space,我们然后计算函数的值,并在值改进时替换它.我们继续改变矢量的一个元素,直到我们不能朝着一个方向移动,使得位置改善.在3D sapce此举可以看作中的任何一个移动axial direction一起x,y or z axis.
• 在Gradient Descent我们采取步骤的方向negative gradient当前点的到达的点minima(在最大值的情况下,正的).例如,在成为一个3D Space方向.need notaxial direction