对于测试期间的批量归一化，如何计算每个激活输入（在每一层和输入维度）的均值和方差？是记录训练的均值和方差，计算整个训练集的均值和方差，还是计算整个测试集的均值和方差？
很多人说你要预先计算均值和方差，但是如果你使用计算整个测试集均值和方差的方法，是不是在进行前向传播的时候就需要计算整个测试集的均值和方差（不是“预”）？
非常感谢您的帮助！
machine-learning normalization neural-network deep-learning batch-normalization