批量归一化中可学习的参数是什么?
What are the learnable parameters in batch normalization?
有四个变量:gamma、beta、均值移动平均值、方差移动平均值。
是否需要对移动平均线进行快照,并在测试时加载它们?
一个更好的问题:
对于tensorflow中batch normalization的,是否需要将batch-mean和batch-var从训练时转移到测试时?如果是这样,我如何在 tensorflow 中实现它?
是 - 对于批归一化的任何使用,您 通过基于单个批次的统计数据进行归一化来 训练 ,但随后您 运行 通过使用长-统计的术语平均值。
您应该保存均值和方差保持变量的副本,并在进行测试时恢复它。
不需要任何魔法:它们只是当您 use the Saver.
时将被保存和恢复的变量
在您引用的具体实现中,documentation for tf.train.ExponentialMovingAverage
有一个具体的例子说明如何分别保存和恢复移动平均线用于训练和推理。
有四个变量:gamma、beta、均值移动平均值、方差移动平均值。
是否需要对移动平均线进行快照,并在测试时加载它们?
一个更好的问题:
对于tensorflow中batch normalization的
是 - 对于批归一化的任何使用,您 通过基于单个批次的统计数据进行归一化来 训练 ,但随后您 运行 通过使用长-统计的术语平均值。
您应该保存均值和方差保持变量的副本,并在进行测试时恢复它。
不需要任何魔法:它们只是当您 use the Saver.
时将被保存和恢复的变量在您引用的具体实现中,documentation for tf.train.ExponentialMovingAverage
有一个具体的例子说明如何分别保存和恢复移动平均线用于训练和推理。