曲线下的pROC面积是否不正确？

我目前的问题是：我使用了

caret

软件包来生成分类预测模型，我想用特定的度量（AUC ROC）来验证我的模型。AUC度量可用于使用训练集训练模型（内部验证），但不可用于预测（外部验证）

1。内部验证：

---

Fit因此您的结果是可以预期的。通常，“内部验证”AUC是通过使用与培训案例分开的测试案例创建的，而在“外部验证”中，您使用的是您培训过的相同案例进行测试（这当然是作弊）。因此，预计内部验证的AUC将小于外部验证的AUC。我认为下图应该说明这一点：

所以你的结果是可以预料的。通常，“内部验证”AUC是通过使用与培训案例分开的测试案例创建的，而在“外部验证”中，您使用的是您培训过的相同案例进行测试（这当然是作弊）。因此，预计内部验证的AUC将小于外部验证的AUC。我认为下图应该说明这一点：

我建议创建一些表格形式的数据摘要，获得几个图表来说明您的问题，然后将此问题发布在堆栈交换上，称为“交叉验证”。那些人专门研究这类问题。虽然很多人也在这里闲逛，但你们并没有给我们太多的机会。到底有多大的不同？因为训练集中的AUC将高于测试集中的AUC“高概率”，但这并不意味着它不可能发生。现在，如果它真的不同，那么可能会发生一些奇怪的事情。差异=0.08（~10%）。我尝试了
pROC
、
ROCR
和
puSummary
（此处提供了函数（））。所有这些都给了我相同的结果（AUC=0.9057）。如果你试图预测你的训练集，那么你应该期望过高的AUC值。内部验证可能是一些n倍交叉验证训练/测试迭代的平均值，AUC总是在该步骤未训练的部分数据上进行，即步骤的测试子集。是的，在我看来，您正在获得预期结果。试着在训练中保留10-20%的数据，并据此进行预测。我打赌你已经接近你的“内部验证”结果了（实际上并不熟悉这个术语）。我建议你创建一些表格形式的数据摘要，得到几个图表来说明你的问题，然后把这个问题发布在这里，而不是在名为“交叉验证”的堆栈交换上。那些人专门研究这类问题。虽然很多人也在这里闲逛，但你们并没有给我们太多的机会。到底有多大的不同？因为训练集中的AUC将高于测试集中的AUC“高概率”，但这并不意味着它不可能发生。现在，如果它真的不同，那么可能会发生一些奇怪的事情。差异=0.08（~10%）。我尝试了
pROC
、
ROCR
和
puSummary
（此处提供了函数（））。所有这些都给了我相同的结果（AUC=0.9057）。如果你试图预测你的训练集，那么你应该期望过高的AUC值。内部验证可能是一些n倍交叉验证训练/测试迭代的平均值，AUC总是在该步骤未训练的部分数据上进行，即步骤的测试子集。是的，在我看来，您正在获得预期结果。试着在训练中保留10-20%的数据，并据此进行预测。我打赌你会接近你的“内部验证”结果（实际上并不熟悉这个术语）。