Nlp 如何泡菜'；定制标记器'；并将其用于Python中的未来预测_Nlp_Vectorization_Pickle_Tokenize_Tfidfvectorizer

Nlp 如何泡菜'；定制标记器'；并将其用于Python中的未来预测

nlp

Nlp 如何泡菜'；定制标记器'；并将其用于Python中的未来预测,nlp,vectorization,pickle,tokenize,tfidfvectorizer,Nlp,Vectorization,Pickle,Tokenize,Tfidfvectorizer,我在下面为文本标记定义了自定义标记化函数。然后我在TfidfVectorizer参数中使用这个函数来标记文本。最后，我将矢量器保存在pickle文件中。该模式在训练模型时运行良好，但当我调用同一个pickle文件用于将来的预测时，它给出了以下错误 vectorizer = pickle.load(open('Chinese_vector.pickel', "rb")) Error: AttributeError: Can't get attribute 'tokenize_

我在下面为文本标记定义了自定义标记化函数。然后我在TfidfVectorizer参数中使用这个函数来标记文本。最后，我将矢量器保存在pickle文件中。该模式在训练模型时运行良好，但当我调用同一个pickle文件用于将来的预测时，它给出了以下错误

vectorizer = pickle.load(open('Chinese_vector.pickel', "rb"))

Error: AttributeError: Can't get attribute 'tokenize_zh' on <module 'main'>

def tokenize_zh(text):
    words = jieba.lcut(text)
    return words

from sklearn.feature_extraction.text import TfidfVectorizer 
vectorizer = TfidfVectorizer(dtype=np.float32, tokenizer=tokenize_zh, 
stop_words=stopwords, max_features=1000)
X = vectorizer.fit_transform(corpus)

import pickle
pickle.dump(vectorizer, open("Chinese_vector.pickel", "wb"))