Python 确保在培训期间选择一个变量

这是一个新手问题

我想从

sklearn

使用

RandomForestClassifier

训练

随机林

。我有几个变量，但我希望算法能从这些变量中选择一个变量（我们称之为

SourceID

），确保在它训练的每一棵树中

我该怎么做？我在分类器中看不到任何有助于这种情况的参数

任何帮助都将不胜感激！ 蒂亚

编辑

下面是我的情况

如果老师分配了一个关于

概念a

的作业，我必须预测下一个可能的作业概念。下一个分配的概念将严重依赖于已分配的

概念A

。例如，在指定“牛顿第一运动定律”之后，很有可能指定“牛顿第二运动定律”。通常，在概念A之后分配的概念选择是有限的。考虑到过去的数据，我想预测分配

概念A

后的最佳方案

如果我让

随机林

随机挑选变量，那么会有一些树没有

概念a

的变量，在这种情况下，预测可能没有多大意义，这就是为什么我想强制选择这个变量。更好的是，如果选择这个变量作为每个树中要拆分的第一个变量，那就太好了

---

这是否说明了问题？

random forest

完全不是这份工作的候选人吗？

我认为现在在scikit中没有办法了。您可以使用max\u features=None删除特征选择的所有随机性

如果您可以切换软件包，R的Ranger（）具有选项split.select.weights和always.split.variables，这可能就是您要查找的。定义随机选择的概率，或在随机选择之外始终包含这些特征

---

这不利于随机林的总体设计，减少了随机性，这反过来可能会削弱算法的方差减少。你应该知道很多关于你的数据和选择这个选项的问题。正如@Michal所提到的，在这里要小心进行。

在

随机森林分类器中没有选择，但随机森林算法只是决策树的集合，其中每棵树只考虑所有可能特征的子集，并在训练数据的引导子样本上进行训练

因此，对于被迫使用特定功能集的树，我们自己手动创建它并不太困难。我在下面写了一个这样的类。这不会执行健壮的输入验证或类似的操作，但是您可以参考sklearn的random forest
fit
函数的源代码。这是为了让您了解如何自己构建它：

固定特性Rfc.py

下面是一个测试脚本，以查看上面的类是否按预期工作：

test.py

没有一个断言失败，这表明我们选择修复的特征在每个随机特征子样本中使用，并且每个特征子样本的大小都是所需的
max\u features
size。保留数据的高精度表明分类器工作正常。
随机森林和机器学习的本质实际上是基于数据中的值，而不是硬输入/控制。告诉我们更多关于你问题的背景-你为什么试图在这里强制选择一个变量？@Michal:你已经编辑了这个问题以添加更多细节。
import numpy as np
from sklearn.tree import DecisionTreeClassifier

class FixedFeatureRFC:
    def __init__(self, n_estimators=10, random_state=None):
        self.n_estimators = n_estimators

        if random_state is None:
            self.random_state = np.random.RandomState()

    def fit(self, X, y, feats_fixed=None, max_features=None, bootstrap_frac=0.8):
        """
        feats_fixed: indices of features (columns of X) to be 
                     always used to train each estimator

        max_features: number of features that each estimator will use,
                      including the fixed features.

        bootstrap_frac: size of bootstrap sample that each estimator will use.
        """
        self.estimators = []
        self.feats_used = []
        self.n_classes  = np.unique(y).shape[0]

        if feats_fixed is None:
            feats_fixed = []
        if max_features is None:
            max_features = X.shape[1]

        n_samples = X.shape[0]
        n_bs = int(bootstrap_frac*n_samples)

        feats_fixed = list(feats_fixed)
        feats_all   = range(X.shape[1])

        random_choice_size = max_features - len(feats_fixed)

        feats_choosable = set(feats_all).difference(set(feats_fixed))
        feats_choosable = np.array(list(feats_choosable))

        for i in range(self.n_estimators):
            chosen = self.random_state.choice(feats_choosable,
                                              size=random_choice_size,
                                              replace=False)
            feats = feats_fixed + list(chosen)
            self.feats_used.append(feats)

            bs_sample = self.random_state.choice(n_samples,
                                                 size=n_bs,
                                                 replace=True)

            dtc = DecisionTreeClassifier(random_state=self.random_state)
            dtc.fit(X[bs_sample][:,feats], y[bs_sample])
            self.estimators.append(dtc)

    def predict_proba(self, X):
        out = np.zeros((X.shape[0], self.n_classes))
        for i in range(self.n_estimators):
            out += self.estimators[i].predict_proba(X[:,self.feats_used[i]])
        return out / self.n_estimators

    def predict(self, X):
        return self.predict_proba(X).argmax(axis=1)

    def score(self, X, y):
        return (self.predict(X) == y).mean() 

import numpy as np
from sklearn.datasets import load_breast_cancer
from FixedFeatureRFC import FixedFeatureRFC

rs = np.random.RandomState(1234)
BC = load_breast_cancer()
X,y = BC.data, BC.target
train = rs.rand(X.shape[0]) < 0.8

print "n_features =", X.shape[1]

fixed = [0,4,21]
maxf  = 10

ffrfc = FixedFeatureRFC(n_estimators=1000)
ffrfc.fit(X[train], y[train], feats_fixed=fixed, max_features=maxf)

for feats in ffrfc.feats_used:
    assert len(feats) == maxf
    for f in fixed:
        assert f in feats

print ffrfc.score(X[~train], y[~train])

n_features = 30
0.983739837398