Machine learning 为什么不是'；t型号选择前是否进行了型号调整？

我在许多文章和书籍中观察到，模型选择是在模型调优之前完成的

模型选择通常使用某种形式的交叉验证（如k-fold）来完成，在k-fold中计算多个模型的度量并选择最佳的一个

然后对所选模型进行调整，以获得最佳超参数

但我的问题是，如果使用正确的超参数，未选择的模型可能会表现得更好

---

那么，为什么我们感兴趣的所有模型都不能调整以获得正确的超参数，然后通过交叉验证选择最佳模型呢，但简而言之，在同一实验中执行模型选择+超参数优化的正确方法是使用嵌套交叉验证：

• 评估模型性能的外部循环（通常）
• 一个内循环（再次拆分由外循环的N-1个训练分区形成的数据集），在每个折叠中执行超参数优化

您可以查看以了解有关此验证方案的更多信息

---

但是，请注意，在某些情况下，可以只对所有模型进行一般比较，然后只优化性能最好的模型。但是，在一项严格的研究中，这远非理想

你能告诉我一个什么时候可以进行一般比较的案例吗？当然可以：例如，当你对测试模型不太感兴趣，但在你的管道中有一个不同的步骤时。假设您开发了一种新的特征选择方法。您可以检查它如何与多个模型族一起工作（使用合理的默认配置），并将精力集中在调整特征选择方法的超参数上。几个主要的模型系列（如k-nn、决策树、朴素贝叶斯等）通常在没有大量超参数优化的情况下表现良好，因此您可以在那里进行一般比较。