批量标准化与批量重整化

Arn*_*nav 3 machine-learning deep-learning keras tensorflow batch-normalization

作为一个没有强大统计背景的人,有人可以向我解释批量重整化旨在解决的批量标准化的主要限制,特别是在它与批量标准化的区别方面吗?

Pru*_*une 6

非常简单地说,批量标准化只是将每批次重新调整为共同的平均值和偏差.每批均独立定标.批量重新标准化包括作为新计算的一部分的先前标准化参数,以便将每个批次标准化为所有批次共有的标准.这渐渐地接近全局标准化,使偏心的批次不会使训练偏离期望的中心.