Machine learning 是';初始';scikit learn GradientBoosting回归器的参数定义基本估计量?

Machine learning 是';初始';scikit learn GradientBoosting回归器的参数定义基本估计量?,machine-learning,scikit-learn,regression,ensemble-learning,Machine Learning,Scikit Learn,Regression,Ensemble Learning,我试图创建一个确定回归器的集合,考虑到这一点,我寻找了一些方法来使用sklearn已经存在的集合方法,并尝试更改集合的基本估计量。bagging文档很清楚,因为它说您可以通过将回归器作为参数传递给“base_estimator”来更改基本估计量,但使用GradientBoosting,您可以在“init”参数中传递回归器 我的问题是:在GradientBoosting的init参数中传递我的回归器,会使它使用我指定的回归器作为基估计量而不是树吗?文件上说init值必须是“用于计算初始预测的估计器

我试图创建一个确定回归器的集合,考虑到这一点,我寻找了一些方法来使用sklearn已经存在的集合方法,并尝试更改集合的基本估计量。bagging文档很清楚,因为它说您可以通过将回归器作为参数传递给“base_estimator”来更改基本估计量,但使用GradientBoosting,您可以在“init”参数中传递回归器

我的问题是:在GradientBoosting的init参数中传递我的回归器,会使它使用我指定的回归器作为基估计量而不是树吗?文件上说init值必须是“用于计算初始预测的估计器对象”,所以我不知道我将在init中传递的估计器是否是实际上用作弱学习者的估计器,以通过bosting方法进行增强,或者只在开始时使用,之后所有工作都由决策树完成。

梯度增强回归器
只能使用回归器树作为基本估计量;从(我的)重点:

在每个阶段中,一个回归树是合适的

正如在一份相关报告中所指出的(HT向Ben Reiniger表示感谢,因为他在下面的评论中指出了这一点):

实现完全依赖于基本估计量是树的假设

为了提高仲裁基回归器(类似于bagging),您需要一个
base\u估计器
参数,这同样适用于bagging。但在这样做之前,你可能想看看自己的答案;引述:

Adaboost(和类似的集成方法)是使用决策树作为基本分类器(更具体地说,是决策树桩,即深度仅为1的DTs)构思的;今天,如果不明确指定
base\u分类器
参数,它会假定值为
DecisionTreeClassifier(max\u depth=1)
,这是有充分理由的。DTs适用于此类融合,因为它们本质上是不稳定的分类器,而SVM则不是这样,因此后者在用作基本分类器时不会提供太多

另见