我试图从头开始构建一个神经网络.在所有AI文献中,人们都认为权重应该初始化为随机数,以便网络更快地收敛.
但为什么神经网络的初始权重被初始化为随机数？
我曾在某处读到这样做是为了"打破对称性",这使得神经网络学得更快.打破对称性如何让它学得更快？
将权重初始化为0是不是更好的主意？那样,权重能够更快地找到它们的值(无论是正面还是负面)？
除了希望在初始化时它们接近最佳值时,是否存在一些其他潜在的哲学背后的权重？
artificial-intelligence machine-learning mathematical-optimization neural-network gradient-descent