我在搜索随机森林的应用程序，在Kaggle上发现了以下知识竞赛： 遵照 , 我使用sklearn创建了一个包含500棵树的随机森林 .oob\u得分约为2%，但坚持组得分约为75% 只有七个类需要分类，所以2%的分类率很低。当我交叉验证时，我的分数也一直接近75% 有人能解释一下.oob\u分数与坚持/交叉验证分数之间的差异吗？我希望他们是相似的 这里有一个类似的问题： 编辑：我想这也可能是一个bug 代码由我发布的第二个链接中的原始海报给出。唯一的变化是，在构建随机林时，必须设置oob_s

我想检查两个长度不同的文档的余弦相似性（比如一个是一行或两行，另一个是100-200行） 我需要一种在scikit learn中对此进行规范化tfidf或计数向量器的方法。TfidfVectorizer有一个属性norm（请参阅）处理此问题。例如，尝试以下方法： vectorizer=TfidfVectorizer（analyzer='word'，stop\u words='english'，norm='l2'） 这将规范化向量，以说明文档长度的差异。TfidfVectorizer具有处理此问

我想在对我的数据集应用k模式后对集群进行采样。到目前为止，我已经构建了以下代码： import numpy as np from kmodes import kmodes X = df[cols].astype(str) km = kmodes.KModes(n_clusters=10) clusters = km.fit_predict(X) df['clusters'] = clusters 现在，我想根据每个星团离星团_质心的最近程度，对每个星团的观测结果进行抽样。我该怎

我试图使用sklearn 0.11的LogisticRegression对象来拟合一个模型，该模型包含200000个观测值和80000个特征。目标是将短文本描述分为800个类中的1个 当我尝试拟合分类器pythonw.exe时，会给出： 应用程序错误“在…处的指令引用了0x00000000处的内存”。内存无法写入” 这些特性非常稀疏，每个观测值大约10个，并且是二进制的（1或0），因此根据我的极限计算，我的4 GB RAM应该能够满足内存需求，但事实并非如此。只有当我使用更少的观测值和/或更少的

将n_作业设置为>1值的GridSearchCV实际如何工作。它是为每个节点（计算节点）创建多个分类器实例，还是创建一个由所有节点共享的分类器。我问这个问题的原因是因为我使用的是vowpal_wabbits Python包装器：并看到它打开了一个子流程（使用stdin、stdout、stderr等）。但是，当我将GridSearch中的此项用于n_jobs>1时，经过一段时间后，我得到了一个断管错误，并试图了解原因？n_jobs>1将使GridSearchCV在后台使用Python的多处理模块。

假设我使用[StandardScaler，PCA&Lasso]在管道上执行GridSearchCV，其中网格搜索超过PCA参数的2个值和Lasso参数的3个值（因此有6种可能的参数组合）。进行CV时，对于给定的折叠，算法是否仅对该折叠中的序列集进行标准化（即，不包括用于确定标准化器均值/方差的折叠测试集），或者是否对折叠外的整个数据集进行标准化（在这种情况下，对整个网格搜索过程仅进行一次标准化）？如果您使用的是sklearn.pipeline.pipeline对象，该对象包含sklearn.pr

在scikit中，一些分类器没有实现“预测概率”功能 虽然我知道有些分类器不能预测概率，但我希望在分类器的预测中总是有一个置信因子 我想知道如何使用与predict_proba感知机模型（scikit 0.15）等效的东西。 有这样的事吗 （我认为旧版本的scikit中有predict_proba，但我需要使用的版本中没有）一些二进制分类器具有未校准的决策函数方法，该方法产生正值或负值，阈值为零。可以使用它并计算正确分类的校准概率估计，例如，请参阅此正在进行的拉动请求： 谢谢，决策功能是最接近我

我在scikit学习中使用随机森林。我使用特征重要性来了解每个特征在预测目标中的重要性。但我不明白这个分数是多少。谷歌功能“重要性”说这是平均值。但我仍然不清楚这是否与平均减少gigi杂质相同。如果是这样，如何计算树木和随机森林？除了数学之外，我想真正理解它的含义。功能重要性功能将告诉您每个功能对预测（信息增益）的贡献有多大 随机森林根据基尼、信息增益、卡方或熵对自变量或特征进行分类。这些功能将获得高分，从而最大限度地提高信息增益。请有人帮忙吗？简短的回答是：feature\u importan

我有一个具有以下功能的数据集： [纬度、经度、收入] 我想检测平均收入均匀的区域（当然，算法必须是健壮的，以便区域可能包含一个或其他异常值） 在以下情况下，点越蓝，收入越高，我想检测这些区域（某种聚类/分割算法）： 在我使用python和sklearn时，如果解决方案使用了其中任何一种，那么归结起来就是正确的数学。定义区域是什么。区域通常由一组坐标定义吗？那么你观察到的实际上是一个图像，但它还不是笛卡尔形式，但我假设一个图像不会有那么多的“空白”。想象一个矩阵1000x1000，其中我只有10

运行上面的代码可以得到以下输出 [0.10.1.] 普通最小二乘法可以正确地得到r*r和r的系数。它们与我在第7行提供的系数相匹配 为什么不能正确获取常数项？ 如何使其按我想要的方式工作？使用线性回归，会自动添加一个截取项。您可以通过以下方式查看此截取术语： from sklearn import linear_model from random import randint temp=[] for i in range(0,100): r = randint(0,100) x

我发现这件真是让人头疼。我有一个Python2笔记本，我用它在笔记本电脑和台式机上进行线性回归。在笔记本电脑上sklearn提供与statsmodels相同的结果。但是，在桌面上，statsmodels给出了正确的结果，而sklearn给出了错误的结果。许多系数估计值比它们应该的值大了8个数量级，例如，304952680vs-0.1271。再次，我保存笔记本电脑，将其拉到笔记本电脑上，再次运行，然后statsmodelsvssklearn线性回归结果相等。重新连接笔记本电脑并在桌面上从头开始重新

我是Adaboost的新手，但我一直在读它，它似乎是我一直在研究的问题的完美解决方案 我有一个数据集，其中的类是“向上”和“向下”。高斯朴素贝叶斯分类器以约55%的准确度（弱准确度）对这两类进行分类。我认为使用Adaboost和Gaussian Naive Bayes作为我的基础估计器将允许我获得更高的准确度，但是当我这样做时，我的准确度下降到45-50%左右 为什么会这样？我发现Adaboost的表现低于其基本估计值是非常不寻常的。此外，任何让Adaboost更好地工作的提示都将不胜感激。我尝

关于 我使用Moses Xu answer来获取功能名称。它产生错误“映射对象不可下标”。代码如下。我正在使用Python3.x top_ranked_features = sorted(enumerate(ch2.scores_),key=lambda x:x[1], reverse=True)[:1000] top_ranked_features_indices = map(list,zip(*top_ranked_features))[0] for feature_pvalue in zi

为什么不同的解算器在sklearn中的简单问题上会产生不同的学习权重？ 这闻起来不像是数值不稳定——看起来不同的解算器被设计为收敛于不同的权重集。 发生什么事了 这似乎与正则化有关，因为这种效应随着C的增加而消失 %matplotlib inline import time import pandas as pd import numpy as np from sklearn.linear_model.logistic import LogisticRegression def linear(

每当我尝试使用“sklearn”时，都会出现以下错误： >>>从sklearn.tree导入决策树 /home/ec2 user/anaconda2/envs/argosv2/lib/python3.6/site packages/sklearn/externals/joblib/externals/cloudpickle/cloudpickle.py:47:DeprecationWarning:imp模块被弃用以支持importlib；有关替代用途，请参阅模块文档 进口小商品 我不确定这是否会

我有一个预定义的决策树，它是我从基于知识的拆分中构建的，我想用它来进行预测。我可以尝试从头开始实现一个决策树分类器，但那样的话，我就无法使用像predict这样的内置Scikit函数。有没有办法在pmml中转换我的树并导入此pmml以使用scikit learn进行预测？还是我需要做一些完全不同的事情？ 我的第一次尝试是使用“假训练数据”强制算法以我喜欢的方式构建树，这将导致大量工作，因为我需要根据用户输入创建不同的树。您可以使用Sklearn API创建自己的决策树分类器。请遵循预测器类类型。

下面是一个使用precision_recall_curve（）的非常小的示例： 其结果是： (array([1., 1.]), array([1., 0.])) 上述内容与下面的“手动”计算不符 根据阈值的不同，有三种可能的类向量：[0,0]（当阈值大于0.75），[0,1]（当阈值介于0.25和0.75之间）和[1,1]（当阈值小于p>时，我知道我迟到了，但我有你的疑问，我最终解决了。 这里的要点是，precision\u recall\u curve（） 在您的特定示例中，实际上有两个数组

我正在使用以下代码：- from sklearn.model_selection import cross_val_score accuracies = cross_val_score(estimator = regressor, X=X,y=y, cv =10) accuracies.mean() 这个平均值是RMSE还是MSE 编辑：-我正在使用随机森林回归。在Scikit学习文档中，他们将其描述为准确性。我如何将其与RMSE或MSE联系起来？它实际上既不是RMSE也不是MSE。如果查看的

我目前正在通过dask将机器学习（Scikit Learn）从一台机器实现到一个Slurm集群。根据一些教程（例如），使用job_lib.parallel_backend（'dask'）非常简单。然而，读入数据的位置让我感到困惑，并且没有任何教程提到它。我应该使用dask.dataframe读入数据以确保它被传递到集群，还是只使用pd.dataframe读入数据并不重要（然后数据存储在运行Jupiter笔记本的机器的RAM中） 非常感谢。如果您的数据足够小（教程中有），并且预处理步骤非常简单，那

使用scikit learn中的plot_precision_recall_curve（）后，我想知道此函数使用的平均精度是多少。在查看文档时，我发现这是一个二进制目标： # %% # Compute the average precision score # ................................... from sklearn.metrics import average_precision_score average_precision = average_pre

我正在Windows中使用Jupyter笔记本。我尝试了很多命令，包括下面来自不同页面的命令，没有一个可以解决，我得到了错误。有人找到解决办法了吗？即使我能在谷歌Colab上安装它也没问题 curl https://raw.githubusercontent.com/automl/auto-sklearn/master/requirements.txt | xargs -n 1 -L 1 pip3 install pip3 install auto-sklearn 或 我想你需要Linux。。

我使用Ipython笔记本，输入代码时： import numpy as np from sklearn.decomposition import PCA pca = PCA(n_components=2) pca.fit(data) 我收到一个通知，内核已经死亡并重新启动。发生了什么事 此外，我的数据采用以下格式： array([[ 0.00000000e+00, 3.13000000e+02, 3.10000000e+02, ..., 9.00000000e+00,

我使用管道和网格搜索来选择最佳参数，然后使用这些参数来拟合最佳管道（“最佳管道”）。但是，由于功能_选择（SelectKBest）在管道中，因此没有适用于SelectKBest的功能 我需要知道“k”个选定功能的功能名称。有没有办法找回它们？先谢谢你 from sklearn import (cross_validation, feature_selection, pipeline, preprocessing, linear_model, grid_s

我犯了一个巨大的错误。我将scikit学习svm精度的输出打印为： str(metrics.classification_report(trainExpected, trainPredict, digits=6)) 现在，我需要根据以下输出计算精度： precision recall f1-score support 1 0.000000 0.000000 0.000000 1259 2 0

我正在使用scikit学习训练分类模型。我的训练数据中既有离散特征，也有连续特征。我想使用最大互信息进行特征选择。如果我有向量x和标签y，并且前三个特征值是离散的，我可以得到如下MMI值： mutual_info_classif(x, y, discrete_features=[0, 1, 2]) 现在我想在管道中使用相同的互信息选择。我想做这样的事情 SelectKBest(score_func=mutual_info_classif).fit(x, y) 但是无法将离散功能掩码传递给Se

我已经阅读了有关SciKit中make\u blobs函数中的n\u功能和中心参数的文档。然而，我所看到的每一个解释对我来说都不是那么清楚，因为我对SciKit和数学是新手。我想知道这两个参数是怎么做的：n_功能，中心在make_blob中的作用如下 make_blobs(n_samples=50, n_features=2, centers=2, random_state=75) 提前感谢。生成blobs函数是sklearn.datasets.samples\u generator的一部分。

我正在尝试编辑sklearn提供的NMF包 为此，我复制了我自己的sklearn 然而，与标准版本相比，我很难导入sklearn的克隆和编辑副本。因为，如果我只是试着写 import sklearn 我导入的是标准版本，而不是我自己编辑的版本。另一方面，如果我试图将目录中的名称更改为请工作，则会出现以下错误： ImportError: No module named 'please_work.sklearn.__check_build._check_build' _______________

我有一个很大的语言语料库，我使用sklearn-tfidf向量器和gensim-Doc2Vec来计算语言模型。我的总语料库有大约100000个文档，我意识到我的Jupyter笔记本一旦超过某个阈值就停止计算。我猜在应用网格搜索和交叉验证步骤后，内存已满 甚至下面的示例脚本也在某个时候停止了Doc2Vec： %%time import pandas as pd import numpy as np from tqdm import tqdm from sklearn.externals impor

我正在查看sklearn中的GradientBoostingClassifier。然后，我发现有三种标准。弗里德曼mse，mse，mae。 sklearn提供的说明如下： 用于测量分割质量的函数。支持的标准是“friedman_mse”表示均方误差和friedman的改善分数，“mse”表示均方误差，“mae”表示平均绝对误差。“friedman_mse”的默认值通常是最好的，因为它在某些情况下可以提供更好的近似值 我不明白有什么不同？ 谁会让我知道 谢谢 我在link中提供了一个完整的答案，这

在使用hyperopt sklearn进行分类器时，是否有办法定义评分方法 默认情况下，它似乎是sklearn的model.score方法，因此提高了分类器的准确性。 但对于某些问题（例如：不平衡类），精度不是最佳度量…Hyperoptistimator采用默认为精度的可选损失函数参数，请参见此处： 是否可以使用自定义损失函数提供工作示例？

我试图使用一些决策规则，根据多幅图像预测卫星图像是否多云。由于我是新手，为了应用决策树算法，我将2D图像重塑为1D，而每张图像中的像素数约为120米。巨大的数据量使得处理速度变慢，有没有更好的方法来处理或处理这些巨大的数据 另一个问题是，我正在尝试使用一些已经建立的决策规则，即使在2D中，我也可以通过if-else语句来实现这些规则。我知道有很多方法可以直观地转换和显示决策树。但有没有办法将可视化决策树转换为决策树模型？我的意思是，当您知道决策规则时，我如何使用该信息将其转换为scikit学习模

我使用sklearn GridsearchCV来调优超参数，但我想知道我提供的数据集是否会在创建折叠之前被洗牌。我不希望它被洗牌，但我找不到它是否在文档中。类似于train_test_split的东西有一个布尔值要洗牌或不洗牌。默认情况下，GridSearchCV将使用一个干净的StratifiedFold或KFold交叉验证程序。这些交叉验证程序的默认值是shuffle=False。GridSearchCV的cv参数文档也提供了一些附加信息

我正在培训一个模型来检测好/坏客户。我的输入功能包括： 'Net Receivables', 'Sales', 'Cost of Goods sold', 'Current Assets', 'Property, plant and equipment', 'Securities', 'Total assets', 'Depreciation', 'Selling, General & Administrative Expense', 'Tota

我有一个不平衡的数据集，我正在尝试进行二进制分类。最后我使用了几种算法，CatBoostClassifier和lightgbm给了我比较好的结果。关于分类报告和混淆矩阵，我有一个问题要问 您可以从我的分类报告中看到： -真负片：1076， -误报：0， -假阴性：1， -真阳性：6 敏感性：0.86和特异性1.00，这意味着我的假阳性率为0.0 我认为它确实表现得很好 从分类报告中，它是否告诉您我的模型可能安装过度或性能确实很好 我这样问是因为1类的支持（数量较少）是7，而0类的支持是1076

我对Python的使用和可以安装的相关软件包是非常陌生的。 作为一名生物学家，我正在寻找许多新的软件包来帮助我模拟物种系统、生态变化等。。经过多次“谷歌搜索”，我发现了scikit learn。 但是，我在安装它时遇到了问题。我现在要借此机会为这篇文章的篇幅道歉 我使用的是64位Python 3.3，并且有相关的NumPy（MKL 1.7.0）和SciPy。我安装了distribute，它运行良好，允许我使用easy_install。 因此，为了安装scikit learn，我尝试在管理员模式下

我已经在Ubuntu 12.04上安装了skicit learn 0.13.1。运行以下代码正在消耗我的内存，也就是说，我可以通过top观察每次迭代中内存的增长情况，在大约160次迭代后，我会出现分段错误（使用“ulimit-Sv 4000000”将可用内存限制在大约4GB） 我是不是遗漏了什么？这看起来像是严重的内存泄漏。请报告一下 from sklearn import gaussian_process import numpy as np x = np.random.normal(si

我正在尝试使用一个自定义的计分函数，该函数使用地面真实值计算多类日志损失，并预测概率数组。有没有办法让GridSearchCV使用此评分功能 def multiclass_log_loss(y_true, y_pred): Parameters ---------- y_true : array, shape = [n_samples] true class, intergers in [0, n_classes - 1) y_pred : array, shape = [n_s

网格搜索交叉验证能否用于使用决策树分类器提取最佳参数？ 为什么不呢 我邀请您检查的文件 例子 并提取最佳参数： tree.best_params_ Out[1]: {'max_depth': 5} 下面是决策树网格搜索的代码 from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import GridSearchCV def dtree_grid_search(X,y,nfolds):

我正在尝试使用scikit learn交叉验证我的分数，但我遇到了一个奇怪的问题，即“手动”创建的分层洗牌循环的性能要比使用内置的交叉验证分数好得多 import pandas as pd import numpy as np import cPickle import helper_functions from sklearn.ensemble import RandomForestRegressor from sklearn.cross_validation import Stratif

我正在使用GradientBoostingClassifier处理不平衡的标记数据集。在Sklearn中，类权重似乎不作为分类器的参数存在。我知道我可以在合适的时候使用样本权重，但在处理VotingClassifier或GridSearch时我不能使用它。有人能帮忙吗？是的，fit方法中有sample\u weight 样本重量：类似数组，形状=[n\u样本]或无 样本重量。如果没有，则样本的权重相等。在每个节点中搜索拆分时，将忽略将创建净权重为零或负的子节点的拆分。在分类的情况下，如果拆分会

我正在研究一个（分类器比较）并混淆了预测概率和决策函数 它们通过使用Z=clf.decision\u function（）或Z=clf.predict\u proba（）绘制等高线来绘制分类结果 这两者有什么区别？是否每种分类方法都有这两种方法中的一种作为分数 哪一个更适合解释分类结果？我应该如何从两者中选择？后者是一种（软）分类器输出实例在每个类中的概率的方法 前者，查找到分离超平面的距离。例如，（n）SVM分类器发现超平面，将空间分割为与分类结果相关的区域。给定一个点，此函数将查找到分隔符的

有没有办法将KerasClassifier与fit\u生成器一起使用，而不是使用常规的fit 我有一个模型，我正在动态地扩充它的训练集，并希望将它作为sklearn.Pipeline的一部分。我看到KerasClassifier实现了fit，但我想知道它是否可以以某种方式与fit\u生成器一起使用 我的生成器是一个接收多个参数的对象，我希望能够使用GridSearchCV对这些参数进行微调。不确定它们应该放在哪里，所以管道会将它们视为估计器的参数 为什么没有实现它（因此我不应该浪费时间尝试添加它

我在做文本分析，我想忽略那些只是数字的单词。从文本“This is 000 Sparta！”中，只应使用“This”、“is”和“Sparta”三个词。有办法做到这一点吗？如何？TFIDFvectorier的默认令牌模式是u'（？u）\\b\\w\\w+\\b'，它与至少有两个单词字符的单词相匹配，即[a-zA-Z0-9\/code>；您可以根据需要修改标记模式，例如，regex（？ui）\\b\\w*[a-z]+\\w*\\b确保它与单词匹配，但至少包含一个字母： from sklearn.f

首先，我搜索了所有的解决方案，并尝试了这个答案，但都不起作用。所以，我在深入学习，有三个班，第一班是猫，第二班是狗，第三班是人。我想参加自己的深度学习项目。但我总是看到这样的错误：ValueError：检查输入时出错：预期conv2d_6_输入具有形状（None，200200，1），但得到了具有形状（205，1200200）的数组。当我被要求更改此代码时： model.add(Conv2D(nb_filters, (nb_conv , nb_conv) ,

我有一个名为“dataset\u con\u enc”的数据帧 我尝试对特征选择进行递归特征消除，因此： # Load libraries from sklearn.datasets import make_regression from sklearn.feature_selection import RFECV from sklearn import datasets, linear_model import warnings # Suppress an annoying but har

我是个笨蛋。。。我试图从一个带有文本标签的RandomForestClassifier（）预测给定字符串的标签 很明显，我不知道如何对单个字符串使用predict（）。我之所以使用整形（）是因为我不久前遇到了这样一个错误：“如果数据具有单个特征或数组，请使用数组整形数据。如果数据包含单个样本，请整形（-1，1）。如果数据包含单个样本，请整形（1，-1）。” 如何预测单个文本字符串的标签 剧本： 您需要获得第一个CountVectorizer（cv）的词汇表，并在predict之前使用它转换新的单

我正在使用 from sklearn.impute import SimpleImputer 但我犯了一个错误 错误：没有名为“sklearn.impute”的模块 使用命令安装了sklearn 0.19.1！pip安装sklearn。如何查看它是否是开发版本？另外，我在哪里可以访问日志 编辑：scikit学习的pip版本现在是0.20+ 插补子模块是scikit学习版本0.20的一部分。它还不在pypi上，因此如果您必须使用该功能，请安装scikit的dev版本learn bypip ins

我有一个具有以下格式的数据集- 电影名称、TomatoCritics、目标变量 在这里，TomatoCritics属性为不同的电影提供来自不同用户的自由文本。而Target_变量是一个二进制值（0或1），指示是否应观看此电影 我使用TF-IDF来处理这个问题，我的代码如下- import numpy as np import pandas as pd from sklearn.feature_extraction.text import CountVectorizer from sklearn.

我有一个一维元组，其中包含从.csv文件读取的数据。然后我用下面的代码初始化一个热编码器类。然而，我不断地得到一个错误 我曾尝试将元组转换为二维元组，但没有成功 输出\ u data=dataset.iloc[：，9]。值 对分类输出数据进行编码没有分类输入数据 一个热编码器=一个热编码器类别功能=[0] 输出数据=一个热编码器。匹配输出数据。到阵列 我一直收到IndexError的一个错误：元组索引超出范围兄弟一切都很完美，但您需要重塑数据集 通过添加该行代码 输出数据=温度整形-1，1 使用

我有一个数据集，分为培训和测试三类；如何计算培训和测试中每个课程的出现次数 def load_data(): data= [] #images are stored here labels=[] # extract the class label from the filename # convert the data and labels to NumPy arrays while scaling the pixel data