批量标准化而不是输入标准化

Question

我可以在输入层后立即使用批量规范化层而不规范化我的数据吗？我希望得到类似的效果/表现吗？

在keras功能中它将是这样的:

x = Input (...)
x = Batchnorm(...)(x)
...

Answer 1

你能行的.但是除了激活分布稳定之外,batchnorm的好处在于,随着网络的学习,平均值和标准偏差可能会迁移.

实际上,在输入层之后立即设置batchnorm是一个奇特的数据预处理步骤.它有时很多(例如线性回归).但是,一次计算整个训练样本的均值和方差比单批学习更简单,更有效.请注意,batchnorm在性能方面不是免费的,您不应该滥用它.