在神经网络编程和初始化的背景下,我听说过很多关于“打破对称性”的说法。有人可以解释一下这是什么意思吗?据我所知,如果权重矩阵在初始化期间填充了相同的值,这与在前向和后向传播过程中表现相似的神经元有关。不对称行为将通过随机初始化更清晰地复制,即,不在整个矩阵中使用相同的值。
computer-science distribution neural-network
computer-science ×1
distribution ×1
neural-network ×1