重新调整神经网络的输入特征（回归）

Question

在用于回归问题的神经网络中，我们重新调整连续标签与输出激活函数一致，即如果使用逻辑 sigmoid 则将它们归一化，或者如果使用 tanh 则调整归一化它们。最后，我们可以恢复原始范围，但将输出神经元重新归一化。

我们还应该标准化输入特征吗？如何？例如，如果隐藏激活与输出激活不同？例如，如果隐藏激活是 TANH 并且输出激活是 LOGISTIC，那么输入特征是否应该归一化为 [0,1] 或 [-1,1] 区间？

Answer 1

简短的回答是肯定的，您还应该缩放输入值，尽管其背后的原因与输出神经元的原因完全不同。激活函数只是让一些输出值不可达（sigmoid 只能输出 [0,1] 中的值，[-1,1] 中的 tanh），而对于输入则不然（所有激活函数都定义在整个 R 域上） ）。执行缩放输入是为了加速收敛（因此您不会到达激活函数的“平坦”部分），但没有确切的规则。至少三种可能性被广泛使用：

• 线性缩放到 [0,1]
• 线性缩放到 [-1,1]
• 归一化到均值=0 和 std=1

对于某些特定数据集，每个都有自己的优缺点。据我所知，最后一个具有最好的统计特性，但它仍然是神经网络上下文中的“经验法则”。