Python scikit learn cross_val_predict准确度分数是如何计算的?
如下面代码所示,Python scikit learn cross_val_predict准确度分数是如何计算的?,python,scikit-learn,cross-validation,Python,Scikit Learn,Cross Validation,如下面代码所示,cross\u val\u使用k-fold方法预测(见v0.18)是否计算每个折叠的精度并最终平均 cv = KFold(len(labels), n_folds=20) clf = SVC() ypred = cross_val_predict(clf, td, labels, cv=cv) accuracy = accuracy_score(labels, ypred) print accuracy 从上的cross\u val\u predict代码中可以看到,该函数为每
cross\u val\u使用k-fold方法预测(见v0.18)是否计算每个折叠的精度并最终平均
cv = KFold(len(labels), n_folds=20)
clf = SVC()
ypred = cross_val_predict(clf, td, labels, cv=cv)
accuracy = accuracy_score(labels, ypred)
print accuracy
从上的cross\u val\u predict
代码中可以看到,该函数为每个折叠计算预测并将其连接起来。这些预测是根据从其他褶皱中学习到的模型做出的
下面是您的代码和代码中提供的示例的组合
from sklearn import datasets, linear_model
from sklearn.model_selection import cross_val_predict, KFold
from sklearn.metrics import accuracy_score
diabetes = datasets.load_diabetes()
X = diabetes.data[:400]
y = diabetes.target[:400]
cv = KFold(n_splits=20)
lasso = linear_model.Lasso()
y_pred = cross_val_predict(lasso, X, y, cv=cv)
accuracy = accuracy_score(y_pred.astype(int), y.astype(int))
print(accuracy)
# >>> 0.0075
最后,回答您的问题:“不,精度不是每个折叠的平均值”不,它不是
根据page,cross_val_predict
不返回任何分数,只返回基于特定策略的标签,如下所述:
函数cross_val_predict与
cross_val_score,但是对于输入中的每个元素,返回
当该元素在试验中时获得的预测
设置。只有将所有元素分配给
测试集只能使用一次(否则会引发异常)
因此,通过调用accurity\u score(labels,ypred)
您只需计算上述特定策略预测的标签与真实标签的准确度得分。这同样在同一文档页面中指定:
这些预测随后可用于评估分类器:
predicted = cross_val_predict(clf, iris.data, iris.target, cv=10)
metrics.accuracy_score(iris.target, predicted)
请注意,此计算的结果可能略有不同
根据使用cross_val_分数获得的数据,对元素进行分组
以不同的方式。
如果您需要不同折叠的准确度分数,您应该尝试:
>>> scores = cross_val_score(clf, X, y, cv=cv)
>>> scores
array([ 0.96..., 1. ..., 0.96..., 0.96..., 1. ])
然后,对于所有折叠的平均精度,使用分数。mean()
:
如何计算每个褶皱的Cohen-kappa系数和混淆矩阵?
对于计算Cohen Kappa系数和混淆矩阵,我假设您指的是真实标签和每个褶皱预测标签之间的Kappa系数和混淆矩阵:
from sklearn.model_selection import KFold
from sklearn.svm.classes import SVC
from sklearn.metrics.classification import cohen_kappa_score
from sklearn.metrics import confusion_matrix
cv = KFold(len(labels), n_folds=20)
clf = SVC()
for train_index, test_index in cv.split(X):
clf.fit(X[train_index], labels[train_index])
ypred = clf.predict(X[test_index])
kappa_score = cohen_kappa_score(labels[test_index], ypred)
confusion_matrix = confusion_matrix(labels[test_index], ypred)
cross\u val\u预测返回什么?
它使用KFold将数据拆分为k
部分,然后对于i=1..k
迭代:
- 将
i'th
部分作为测试数据,所有其他部分作为训练数据
- 使用训练数据训练模型(除i'th
之外的所有部分)
然后,通过使用该训练模型,预测i'th
零件的标签(测试数据)
在每次迭代中,预测数据的第i部分的标签。最后,cross_val_predict合并所有部分预测的标签,并将其作为最终结果返回
此代码逐步显示此过程:
X = np.array([[0], [1], [2], [3], [4], [5]])
labels = np.array(['a', 'a', 'a', 'b', 'b', 'b'])
cv = KFold(len(labels), n_folds=3)
clf = SVC()
ypred_all = np.chararray((labels.shape))
i = 1
for train_index, test_index in cv.split(X):
print("iteration", i, ":")
print("train indices:", train_index)
print("train data:", X[train_index])
print("test indices:", test_index)
print("test data:", X[test_index])
clf.fit(X[train_index], labels[train_index])
ypred = clf.predict(X[test_index])
print("predicted labels for data of indices", test_index, "are:", ypred)
ypred_all[test_index] = ypred
print("merged predicted labels:", ypred_all)
i = i+1
print("=====================================")
y_cross_val_predict = cross_val_predict(clf, X, labels, cv=cv)
print("predicted labels by cross_val_predict:", y_cross_val_predict)
结果是:
iteration 1 :
train indices: [2 3 4 5]
train data: [[2] [3] [4] [5]]
test indices: [0 1]
test data: [[0] [1]]
predicted labels for data of indices [0 1] are: ['b' 'b']
merged predicted labels: ['b' 'b' '' '' '' '']
=====================================
iteration 2 :
train indices: [0 1 4 5]
train data: [[0] [1] [4] [5]]
test indices: [2 3]
test data: [[2] [3]]
predicted labels for data of indices [2 3] are: ['a' 'b']
merged predicted labels: ['b' 'b' 'a' 'b' '' '']
=====================================
iteration 3 :
train indices: [0 1 2 3]
train data: [[0] [1] [2] [3]]
test indices: [4 5]
test data: [[4] [5]]
predicted labels for data of indices [4 5] are: ['a' 'a']
merged predicted labels: ['b' 'b' 'a' 'b' 'a' 'a']
=====================================
predicted labels by cross_val_predict: ['b' 'b' 'a' 'b' 'a' 'a']
我想添加一个选项,在前面的开发人员的贡献之上,提供一个快速简单的答案
如果你取F1的微平均值,你基本上就能得到准确率。例如:
from sklearn.model_selection import cross_val_score, cross_val_predict
from sklearn.metrics import precision_recall_fscore_support as score
y_pred = cross_val_predict(lm,df,y,cv=5)
precision, recall, fscore, support = score(y, y_pred, average='micro')
print(fscore)
这在数学上是有效的,因为微观平均值给出了混淆矩阵的加权平均值
祝你好运 如文件中所述:
将这些预测传递到评估中是不合适的
米制的使用
测量泛化误差
函数为每个折叠计算预测并将其串联。
你所说的串联是什么意思?检索的准确度意味着什么?好像把一切都搞砸了。如何通过对每一次折叠进行平均来计算精度?我认为Omid已经非常全面地解释了这一点;)嗨,谢谢。我知道了如何计算每个折叠的交叉值和平均值。同样,您能告诉我如何计算每个折叠的Cohen-kappa系数
和混淆矩阵
,然后求平均值吗?您好。有关科恩-卡帕系数和混淆矩阵,请参见我的更新。你说的然后平均值是什么意思?嗨,再次感谢你,我得到了你的编辑并理解了这件事。我有最后一个困惑。。。在我的问题中,ypred=cross\u val\u predict(clf,td,labels,cv=cv)
你能解释一下ypred
是如何用外行的语言计算出来的吗?kford将数据拆分成k个部分,然后对于i=1..k次迭代,它是这样做的:将除i'th部分以外的所有部分作为训练数据,用它们拟合模型,然后预测第i部分的标签(测试数据)。在每次迭代中,都会预测第i部分数据的标签。最后,cross\u val\u predict
合并所有部分预测的标签并将其作为一个整体返回。仍然很难理解。你能用你在使用编辑之前解释的类似方式来显示它吗?为什么是这样?使用交叉价值预测和交叉验证之间的区别是什么?使后者仅适用于评估?
from sklearn.model_selection import cross_val_score, cross_val_predict
from sklearn.metrics import precision_recall_fscore_support as score
y_pred = cross_val_predict(lm,df,y,cv=5)
precision, recall, fscore, support = score(y, y_pred, average='micro')
print(fscore)