聚合方法如何聚合MLR中的性能指标?
在聚合方法如何聚合MLR中的性能指标?,r,mlr,R,Mlr,在MLRR包中,有一些方法可以聚合参数调整模型性能度量,如train.mean,train.sd,test.mean,test.sd。我想知道聚合过程是如何完成的。 据我目前所知,聚合似乎是在折叠级别进行的 假设对于10次重复,5次交叉验证,总共有10*5个测试误差估计值,因此测试误差的标准偏差是50个估计值的变化。 但是我想要的是重复水平上的误差估计,所以对于每个重复,我有一个误差估计,由内部5倍平均,然后我期望的测试误差标准偏差应该是10次重复的10次估计的变化 我想知道怎样才能做到这一点。
MLR
R包中,有一些方法可以聚合参数调整模型性能度量,如train.mean
,train.sd
,test.mean
,test.sd
。我想知道聚合过程是如何完成的。
据我目前所知,聚合似乎是在折叠级别进行的
假设对于10次重复,5次交叉验证,总共有10*5个测试误差估计值,因此测试误差的标准偏差是50个估计值的变化。
但是我想要的是重复水平上的误差估计,所以对于每个重复,我有一个误差估计,由内部5倍平均,然后我期望的测试误差标准偏差应该是10次重复的10次估计的变化
我想知道怎样才能做到这一点。是否有任何方法可以提取每次重采样中每个调优参数的原始性能指标?正确,聚合是在折叠级别完成的 没有实现在重复级别进行聚合的选项,您必须自己编写代码
我们将不再向{mlr}添加此功能。请参阅如何在{mlr3}中执行此操作。正确,聚合是在折叠级别完成的 没有实现在重复级别进行聚合的选项,您必须自己编写代码
我们将不再向{mlr}添加此功能。请参阅如何在{mlr3}中执行此操作。我发现有两个聚合函数似乎在重复级别“testgroup.sd”和“testgroup.mean”上工作。从mlr.mlr org.com/reference/aggregations.html中的描述中,我发现有两个聚合函数似乎在重复级别“testgroup.sd”和“testgroup.mean”上工作。从mlr.mlr org.com/reference/aggregations.html中的描述中,我发现有两个聚合函数似乎在重复级别“testgroup.sd”和“testgroup.mean”上工作。从他们在《哦,不错》中的描述来看,我没有意识到这些@Jiahao AI在stackexchange网站上勾选复选标记,将问题标记为已解决,这是一种很好的做法。您也可以添加您的评论作为答案,并将其标记为正确答案。如果你能为你最近的所有问题做到这一点,那就太好了。谢谢。我发现有两个聚合函数似乎在重复级别“testgroup.sd”和“testgroup.mean”上工作。从他们在《哦,不错》中的描述来看,我没有意识到这些@Jiahao AI在stackexchange网站上勾选复选标记,将问题标记为已解决,这是一种很好的做法。您也可以添加您的评论作为答案,并将其标记为正确答案。如果你能为你最近的所有问题做到这一点,那就太好了。谢谢