Performance RMSE和平均目标变量

Performance RMSE和平均目标变量,performance,regression,mean,mse,Performance,Regression,Mean,Mse,我有一个回归问题,我想使用以下方法评估我的模型的性能: RMSE 微卫星 梅 马佩 R2 我还报告了测试数据中目标变量的平均值 之前,我的模型达到RMSE~40,平均目标变量为112 为了改进结果,我更改了数据中的一些列和值分布。该变更影响了培训和测试数据。话虽如此,测试数据中的平均目标变量约为80 RMSE~30 测试数据中的平均目标变量:~80 那么,如果RMSE从40降低到30,我真的做得更好吗?还是我在愚弄自己,就像以前我有40(RMSE)/112(平均塔雷格特风险)而现在我有3

我有一个回归问题,我想使用以下方法评估我的模型的性能:

  • RMSE
  • 微卫星
  • 马佩
  • R2
  • 我还报告了测试数据中目标变量的平均值
之前,我的模型达到RMSE~40,平均目标变量为112

为了改进结果,我更改了数据中的一些列和值分布。该变更影响了培训和测试数据。话虽如此,测试数据中的平均目标变量约为80

  • RMSE~30
  • 测试数据中的平均目标变量:~80
那么,如果RMSE从40降低到30,我真的做得更好吗?还是我在愚弄自己,就像以前我有40(RMSE)/112(平均塔雷格特风险)而现在我有30(RMSE)/80(平均塔雷格特风险)


换句话说,我们是否真的应该将RMSE与目标变量的平均值进行比较,以了解我们做得有多好?

平均值不能告诉您数据的分布情况,并且RMSE与平均值的比率不能告诉您模型可以解释多大的方差


由于列表中有R2,因此可以使用R2,它大致是解释的方差比例,使其与目标的比例保持不变。

谢谢。让我想到平均值的是,我的模型中的R2在我做出更改之前和之后都保持不变,我注意到目标变量的平均值降低了,而RMSEA有用的方法是将你以前的预测与当前预测进行对比,如果只是标度发生了变化,它们将沿着对角线排列