Machine learning 在训练/验证设置中选择最佳模型：如何迭代模型

在下表中，您可以看到不同模型的

R2

列车/测试拆分对比表（表格回归问题）。现在，理想情况下，我会选择

ideal\u模型

场景，因为它很可能在现实生活中表现得最好，但我有一个问题，即训练模型是否能够达到这一目标。具体地说，一旦我有了我的功能和问题设置，我通常可以用超参数来修补所有我想要的东西，但一般来说，由于我降低了复杂性（或者在处理神经网络时的一些其他技巧，比如退出层等），所以会降低我的验证分数

现在，我当然担心列车组的过度装配会造成损坏，但我也不能忽视验证步骤中的性能差异

问题

：一般来说，在这种情况下，哪条路线最好？也就是说，为了最小化过度拟合，同时尽可能保持验证性能：切换模型？集合路线？（结果好坏参半，因为这是一个模型的组合，正是这个问题）切换损失函数，使模型更好地学习

p、 s:为了这种情况，请假设功能是一成不变的，没有交叉验证（当然我们会在现实生活中使用交叉验证）