Python 如何正确合并集合中模型的输出？

我试图找出如何正确地创建回归集合。我知道有很多选择。我使用以下方法。 首先，我定义了线性回归、GBM等模型，然后对每个模型运行GridSearchCV以了解最佳参数。在这之后，我想做最后的预测，同时考虑每个模型的单独预测。 问题是如何正确地将单个预测合并到单个Y向量中？为每个预测分配权重系数并不适合回归问题。如果是，那么如何获得这样的权重系数呢？

---

也许最好的方法是使用个人预测作为训练集来训练元模型？

免责声明：我个人没有训练集合的经验，但我也对这个主题感兴趣

我在培训集合中找到的大多数资源都处理分类问题。除了维基百科的文章外，我还发现了一篇好文章：但是对于回归，这篇文章只列出了平均值。可以为每个模型分配权重系数，例如基于交叉验证性能，预测仍然有意义：只需对系数进行归一化，使其总和为1.0

另一个选择是进行增强：您可以对模型进行一次训练 然后对每个连续模型的误差进行训练 以前的模型。意思是，如果第一个模型有预测 这太高了，下一个模型将尝试预测一个负值 该样本的值（以便模型预测的总和 等于实际训练目标）。维基百科上的这段短文 可能有助于理解：

据我所知，打包（引导聚合）也 似乎对回归有用。您只需使用一个 训练数据的随机子集。那么，对于预测，您采用 平均（所有型号的重量相同）。描述了如何对训练数据进行采样的细节

堆叠是您已经提出的建议：使用元分类器，将模型的输出作为数据。解释和 有关如何实现此功能的详细信息，请参见以下示例：

此外，还有一个相关问题，其中包含更多关于交叉验证的信息：