Keras 中的损失在模型之间相差几个数量级意味着什么?

What does it mean for the loss in Keras to be different by orders of magnitude between models?

对于上下文,我在 Keras 中训练了两个独立的自动编码器:一个具有标准 MSE 损失函数,另一个具有自定义 MSE 损失函数。在给定的训练点评估两个模型时,它们的性能非常相似,但损失却大不相同。

我的性能指标是平均误差百分比。两种模型都以大约 3% 的平均误差重建原始图像。但是,当保存这些模型时,标准 Keras MSE 模型的损失小于 1.0,而具有自定义 MSE 成本函数的模型损失在 30 数量级。

如果他们的表现如此一致,为什么损失差异如此之大?

损失只是一个标量,它告诉模型火车采取哪个方向来调整权重。如果将损失乘以标量,结果几乎相同。 我不是说绝对值不重要,它很重要。但这不是中心点。 您的情况可能有所不同,因为 Keras MSE 进行了一些您不进行的标准化。