如何标准化不同激活函数的训练数据？

Question

我正在训练完全连接的神经网络来对 MNIST 数据集进行分类。输入数据是像素值为 的方形黑白图像[0, 255]。

我读过使用sigmoid()激活器需要将输入归一化为[0, 1]（sigmoid 范围）。

如何标准化tanh()激活器的输入数据？我是否需要重新调整它以在[-1, 1]（tanh 范围内）或它仍然可以在[0, 1].

哪种方法更好，为什么？一般指导是什么？

Answer 1

您不必为不同的激活函数使用不同的归一化。事实上，您不必对输入进行归一化以[0, 1]用于 sigmoid。sigmoid[0, 1]的范围就是其输出的范围。它的输入（域）范围实际上是从负无穷大到正无穷大。

更重要的是，您的输入不会直接进入 sigmoid 函数，因此您的图像输入范围与 sigmoid 将获得的输入范围不同。中间会有一些线性层，它们之间会改变数据范围。

一般指导是将您的输入规范化为[-1, 1]. 这与激活函数无关，而是反向传播的一般有效措施。请参阅有效的 BackProp。