Machine learning 估计优化模型测试误差的正确方法

背景：

根据Muller的“python机器学习入门”推荐的工作流程，我们可以对流程开始时留下的测试集进行单分数评估：

与可能使用多个（不同）模型的嵌套交叉验证相比，这种方法的优势在于获得具有超参数集的给定模型

对单个测试集的评估给出了具有高方差的估计量

问题是：

---

有没有办法得到比这个分数更好的泛化误差估计？（即使这种方法需要更多的训练迭代）

工作流程非常完美，但我认为您的模型需要一些工作。 您可以在训练/验证/测试集中划分数据集。然后，您可以使用交叉验证对培训数据进行培训，在验证集上继续测试，直到获得良好的结果，然后作为最后一步使用测试数据