有没有反向传播的替代方案？

Question

我知道可以使用梯度下降训练神经网络，并且我了解它是如何工作的。

最近，我偶然发现了其他训练算法：共轭梯度和拟牛顿算法。我试图了解它们是如何工作的，但我能得到的唯一好的直觉是它们使用了高阶导数。

我的问题如下：我提到的那些替代算法与使用损失函数梯度调整权重的反向传播过程有根本的不同吗？如果没有，是否有一种算法可以训练一个与反向传播机制根本不同的神经网络？

谢谢

Answer 1

增强拓扑或 NEAT 的神经进化是使用遗传算法学习网络拓扑和网络权重/偏差的另一种方法。

我想模拟退火会更好。但无论采取何种形式，随机搜索都是昂贵的。遗传算法是局部集束搜索方法的变形。我们必须注意，将权重编码为单个函数是一个聪明的想法，并且当我们拥有足够的计算能力时（例如 FPGA 成为主流时）可能会起作用 (2认同)

Answer 2

考虑阅读这篇关于反向传播替代方案的媒体文章

我想添加基于蒙特卡罗的方法：https://arxiv.org/abs/2205.07408

Answer 3

共轭梯度和拟牛顿算法仍然是梯度下降算法。反向传播（或反向传播）只不过是梯度计算的一个奇特名称。

但是，反向传播的替代方案的原始问题非常重要。例如，最近的替代方案之一是平衡传播（或简称为 eqprop）。

反向传播的另一种替代方法称为反馈对齐 https://arxiv.org/abs/1609.01596 (3认同)
最近，G. Hinton 提出了他的前向前向算法 https://arxiv.org/abs/2212.13345，该算法仅执行前向传播并使用负数据。 (2认同)