Python 2.7 如何使用sci工具包识别误分类文本文件的ID/名称/标题
我正在为文本分类构建自己的分类器,但目前我正在使用sci kit learn来解决一些问题。我使用NB分类器对一些文本文件进行分类。我使用26个文本文件手动分类为2类,每个文件的编号在01-26之间(即“01.txt”等等) 我的代码和结果:Python 2.7 如何使用sci工具包识别误分类文本文件的ID/名称/标题,python-2.7,scikit-learn,text-classification,naivebayes,Python 2.7,Scikit Learn,Text Classification,Naivebayes,我正在为文本分类构建自己的分类器,但目前我正在使用sci kit learn来解决一些问题。我使用NB分类器对一些文本文件进行分类。我使用26个文本文件手动分类为2类,每个文件的编号在01-26之间(即“01.txt”等等) 我的代码和结果: import sklearn from sklearn.datasets import load_files import numpy as np bunch = load_files('corpus') split_pcnt = 0.75 split
import sklearn
from sklearn.datasets import load_files
import numpy as np
bunch = load_files('corpus')
split_pcnt = 0.75
split_size = int(len(bunch.data) * split_pcnt)
X_train = bunch.data[:split_size]
X_test = bunch.data[split_size:]
y_train = bunch.target[:split_size]
y_test = bunch.target[split_size:]
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer, HashingVectorizer, CountVectorizer
clf_1 = Pipeline([('vect', CountVectorizer()),
('clf', MultinomialNB()),
])
from sklearn.cross_validation import cross_val_score, KFold
from scipy.stats import sem
def evaluate_cross_validation(clf, X, y, K):
# create a k-fold croos validation iterator of k=5 folds
cv = KFold(len(y), K, shuffle=True, random_state=0)
# by default the score used is the one returned by score >>> method of the estimator (accuracy)
scores = cross_val_score(clf, X, y, cv=cv)
print scores
print ("Mean score: {0:.3f} (+/-{1:.3f})").format(np.mean(scores), sem(scores))
clfs = [clf_1]
for clf in clfs:
evaluate_cross_validation(clf, bunch.data, bunch.target, 5)
[ 0.5 0.4 0.4 0.4 0.6]
Mean score: 0.460 (+/-0.040)
from sklearn import metrics
def train_and_evaluate(clf, X_train, X_test, y_train, y_test):
clf.fit(X_train, y_train)
print "Accuracy on training set:"
print clf.score(X_train, y_train)
print "Accuracy on testing set:"
print clf.score(X_test, y_test)
y_pred = clf.predict(X_test)
print "Classification Report:"
print metrics.classification_report(y_test, y_pred)
print "Confusion Matrix:"
print metrics.confusion_matrix(y_test, y_pred)
train_and_evaluate(clf_1, X_train, X_test, y_train, y_test)
Accuracy on training set:
1.0
Accuracy on testing set:
0.714285714286
Classification Report:
precision recall f1-score support
0 0.67 0.67 0.67 3
1 0.75 0.75 0.75 4
avg / total 0.71 0.71 0.71 7
Confusion Matrix:
[[2 1]
[1 3]]
我搞不清楚的是如何识别错误分类文件的ID,以查看哪些文件被错误分类(例如“05.txt”和“23.txt”)。这在sci工具包学习中是可能的吗
最好的
guzdeh假设
加载文件
按字母顺序加载文本文件,您所需要的只是错误分类示例的索引。这可通过以下方式获得:
misclassified = np.where(y_pred != y_test)
print(misclassified)
在
训练和评估功能的末尾。因此,如果打印,比如说[1,3,7]
,文件“01.txt”、“03.txt”和“07.txt”被错误分类。是的,您必须使用结果的属性文件名
但是,在示例代码中有两个模型训练和评估周期:一个使用CV,另一个使用简单的训练测试分割
在列车测试拆分中:
test_filenames = bunch.filenames[split_size:]
misclassified = (y_pred != y_test)
print test_filenames[misscalssified]
这个答案并不假设文本文件按字母顺序排列或所有数字都存在。旁注:您可能应该随机将数据划分为训练集和测试集,而不是基于位置,除非您确定它们是随机编号的。幸运的是,scikit learn对此有自己的见解。嘿,Dave。谢谢你的帮助。Load_files有一个选项,允许您非随机加载文件,但默认参数设置为shuffle。然而,当我测试随机选项时,结果显示文件被洗牌,但总是以相同的方式。算算吧。再次感谢。:)嘿,dukeboy,谢谢你的帮助,也谢谢你指出了这两个模型。我现在把它们分成两种不同的方法。再次感谢。:)