BatchNorm 动量约定 PyTorch
BatchNorm momentum convention PyTorch
batchnorm momentum convention（默认值=0.1）是否与其他库一样正确，例如Tensorflow 好像一般默认是 0.9 或者 0.99？或者也许我们只是使用了不同的约定？
似乎pytorch中的参数化约定与tensorflow中的不同，因此pytorch中的0.1相当于tensorflow中的0.9。
更准确地说：
在 Tensorflow 中：
running_mean = decay*running_mean + (1-decay)*new_value
在 PyTorch 中：
running_mean = (1-decay)*running_mean + decay*new_value
这意味着 PyTorch 中的 decay 值等同于 Tensorflow 中的 (1-decay) 值。
batchnorm momentum convention（默认值=0.1）是否与其他库一样正确，例如Tensorflow 好像一般默认是 0.9 或者 0.99？或者也许我们只是使用了不同的约定？
似乎pytorch中的参数化约定与tensorflow中的不同，因此pytorch中的0.1相当于tensorflow中的0.9。
更准确地说：
在 Tensorflow 中：
running_mean = decay*running_mean + (1-decay)*new_value
在 PyTorch 中：
running_mean = (1-decay)*running_mean + decay*new_value
这意味着 PyTorch 中的 decay 值等同于 Tensorflow 中的 (1-decay) 值。