ANN：如何正确选择初始权重以避免局部极小值？

Question

在反向传播训练中，在沿着误差面进行梯度下降期间，隐藏层中具有大量神经元的网络可能会陷入局部最小值。我读过，在所有情况下将权重重新初始化为随机数最终将避免此问题。这意味着总是存在一组“正确的”初始重量值。（这个假设安全吗？）

我需要找到或制定一个算法来找到它们。

我尝试过谷歌搜索该算法，尝试自己设计它，但没有成功。任何人都可以提出解决方案吗？也许我可以搜索算法的名称？

注意：这是一个常规的前馈 3 层墨西哥卷饼:)

注意：我知道已经尝试使用 GA 来达到此目的，但这需要在每次迭代中重新训练网络，当网络变得足够大时，这会耗费大量时间。

提前致谢。

Answer 1

遗憾的是，永远无法保证您不会陷入局部最优。除非你能证明你试图优化的函数的某些属性，否则局部最优是存在的，爬山方法将成为它们的牺牲品。（通常，如果你可以证明你需要证明的事情，你也可以选择比神经网络更好的工具。）

一种经典的技术是逐渐降低学习率，然后增加学习率，然后慢慢降低学习率，如此反复多次。提高学习率会降低算法的稳定性，但赋予算法跳出局部最优的能力。这与模拟退火密切相关。

我很惊讶谷歌在这里没有帮助你，因为这是许多已发表论文的主题：尝试将“局部最小值”和“局部最小值问题”等术语与神经网络和反向传播结合起来。您应该会看到许多关于改进反向传播方法的参考。