需要陷入神经网络的局部最优

Question

我需要陷入前馈神经网络的局部最优。我需要一个示例和权重初始化，使用最陡梯度下降将陷入局部最优（在每个维度的特定边界权重内）。我找不到这样的例子，至少看起来是这样，因此无法测试新算法。

任何人都可以指出一些文档、资源，或者为我提供一个如何陷入局部最优的示例。

Answer 1

让我们分析一下“陷入局部最优”是什么意思。请参阅SAPROP 文件。SARPROP 是一种前馈神经网络的学习算法，其目标正是避免陷入局部最优。查看链接文档第 3 页的图 1。它显示了关于单个重量的误差表面。在训练的早期步骤中，这个误差表面会迅速改变。但一旦算法接近收敛，关于一个权重的误差表面就会稳定下来。现在，如果您的学习算法无法将权重“推”过“山”以达到更好的最佳值，那么您就陷入了关于某个权重的局部最佳值。SARPROP 尝试通过向原始 RPROP 涉及的权重更新添加正噪声来解决此问题。所以算法有机会被推出这样的“山谷”。

现在，为了构造局部最优的收敛，您应该计算一组随机权重，这些权重在下面保持固定。现在使用已知能够快速收敛于局部最优的学习算法，例如 RPROP。然后使用相同的权重初始化并应用 SARPROP 或您的新算法。然后，一旦网络收敛，就比较训练数据的均方根误差。通过数百个权重初始化来完成此操作并应用统计数据。