Pandas 如何用词袋处理外来词

我试图在基于文本的数据集上使用BoW-before-ML。但是，我不希望我的训练集影响我的测试集（即数据泄漏）。我想在测试前在列车上部署弓。但是，我的测试集与训练集具有不同的特征（即单词），因此矩阵的大小不同。我尝试在测试集中保留列，这些列也出现在火车集中，但1）我的代码不正确，2）我认为这不是最有效的过程。我想我还需要代码来添加填充列？以下是我所拥有的：

from sklearn.feature_extraction.text import CountVectorizer

def bow (tokens, data):
    tokens = tokens.apply(nltk.word_tokenize)
    cvec = CountVectorizer(min_df = .01, max_df = .99, ngram_range=(1,2), tokenizer=lambda doc:doc, lowercase=False)
    cvec.fit(tokens)
    cvec_counts = cvec.transform(tokens)
    cvec_counts_bow = cvec_counts.toarray()
    vocab = cvec.get_feature_names()
    bow_model = pd.DataFrame(cvec_counts_bow, columns=vocab)
    return bow_model

X_train = bow(train['text'], train)
X_test = bow(test['text'], test)

vocab = list(X_train.columns)
X_test = test.filter.columns([w for w in X_test if w in vocab])

---

通常，只能在列车组上安装计数矢量器，并在测试组上使用相同的矢量器，例如：

from sklearn.feature_extraction.text import CountVectorizer

def bow (tokens, data, cvec=None):
    tokens = tokens.apply(nltk.word_tokenize)
    if cvec==None:
        cvec = CountVectorizer(min_df = .01, max_df = .99, ngram_range=(1,2), tokenizer=lambda doc:doc, lowercase=False)
        cvec.fit(tokens)
    cvec_counts = cvec.transform(tokens)
    cvec_counts_bow = cvec_counts.toarray()
    vocab = cvec.get_feature_names()
    bow_model = pd.DataFrame(cvec_counts_bow, columns=vocab)
    return bow_model, cvec

X_train, cvec = bow(train['text'], train)
X_test, cvec = bow(test['text'], test, cvec=cvec)

vocab = list(X_train.columns)
X_test = test.filter.columns([w for w in X_test if w in vocab])

这当然会忽略在火车组上看不到的单词，但这不应该是一个问题，因为火车和测试应该或多或少有相同的分布，因此未知单词应该很少

---

注意：代码未经测试

非常感谢！！我必须补充的一点是，如果cvec==无：