RMSE 和平均目标变量

Question

我有一个回归问题，我想使用以下方法评估我的模型的性能：

• 均方根误差
• 均方误差
• 梅
• 马普
• R2
• 我也在报告测试数据中目标变量的平均值

之前我的模型达到了 RMSE ~ 40，平均目标变量是 112。

我更改了数据中的一些列和值分布以改善结果。这一变化影响了训练和测试数据。话虽如此，测试数据中的平均目标变量是~80。

• RMSE ~ 30
• 测试数据中的平均目标变量：~80

那么，如果 RMSE 从 40 降低到 30，我真的做得更好吗？或者我是在自欺欺人，因为以前我有 40 (RMSE)/ 112 (avg. taregt var) 而现在我有 30 (RMSE)/ 80 (avg. taregt var)？

换句话说，我们真的应该将 RMSE 与目标变量的平均值进行比较，以了解我们做得如何吗？

Answer 1

均值并不能告诉您数据的分布情况，RMSE 与均值的比率也不能告诉您模型可以解释多少方差。

因为你的列表中有它，你可以使用 R2，它是解释方差的大致比例，使其对你的目标规模不变。