批量归一化与批量重新归一化

Question

作为一个没有很强统计学背景的人，有人可以向我解释批重归一化旨在解决的批归一化的主要局限性，尤其是它与批归一化的区别吗？

Answer 1

简而言之，批归一化只是将每个批次重新调整为一个共同的均值和偏差。每个批次都是独立缩放的。 Batch renormalization 包括先前的标准化参数作为新计算的一部分，因此每个批次都被标准化为所有批次通用的标准。这渐近地接近全局归一化，防止偏离中心的批次使训练偏离所需的中心。