将输入数据扩展到神经网络

Question

我们是否必须缩放神经网络的输入数据？它如何影响神经网络的最终解决方案？

我试图找到一些可靠的消息来源."统计学习要素"一书(第400页)表示,它将有助于选择合理的初始随机权重.

无论我们使用的初始随机权重,最终权重都不确定吗？

谢谢.

Answer 1

首先,有很多类型的人工神经网络,我假设你所说的是最简单的 - 多层感知器和反向传播.

其次,在您的问题中,您正在混合数据缩放(规范化)和权重初始化.

您需要随机初始化权重以避免学习时的对称性(如果所有权重最初都相同,则它们的更新也将相同).一般而言,具体值无关紧要,但过大的值会导致收敛速度变慢.

您不需要对数据进行标准化,但标准化可以使学习过程更快.有关详细信息,请参阅此问题.