“打破对称性”是什么意思？在神经网络编程的背景下？

Question

在神经网络编程和初始化的背景下，我听说过很多关于“打破对称性”的说法。有人可以解释一下这是什么意思吗？据我所知，如果权重矩阵在初始化期间填充了相同的值，这与在前向和后向传播过程中表现相似的神经元有关。不对称行为将通过随机初始化更清晰地复制，即，不在整个矩阵中使用相同的值。

Answer 1

你的理解是正确的。

当所有初始值都相同时，例如将每个权重初始化为 0，然后在进行反向传播时，所有权重将获得相同的梯度，因此进行相同的更新。这就是所谓的对称性。

直观地说，这意味着所有节点都将学习相同的东西，而我们不希望那样，因为我们希望网络学习不同种类的特征。这是通过随机初始化来实现的，因为这样梯度会不同，每个节点将变得与其他节点更加不同，从而实现多样化的特征提取。这就是所谓的打破对称性。