Scikit learn 余弦相似性=1.0，即使源/输入字符串具有语料库中未看到的额外标记？
我正在使用来自scikit learn的TfidfVectorizer和余弦_相似度。当我有一个新字符串，并且我试图找到与原始训练语料库中的字符串的余弦相似性时，我注意到，即使字符串是精确匹配的，加上新字符串中的其他新标记，无论有多少这样的附加标记，余弦相似性都是1.0 例如，如果x、y和z根本不在原始语料库中，则形式为“ab x y z”的新字符串与原始字符串“ab”的余弦相似性为1.0 我理解这种情况是如何发生的，因为在根据训练语料库建立的特征对新字符串进行矢量化时，会忽略新的标记，但我希望能够检测到“ab x y z”与“ab”并非真正的“完美”匹配 关于如何将对这种类型的差异（新标记的存在）敏感的内容合并到匹配中，有什么想法吗Scikit learn 余弦相似性=1.0，即使源/输入字符串具有语料库中未看到的额外标记？,scikit-learn,cosine-similarity,tfidfvectorizer,Scikit Learn,Cosine Similarity,Tfidfvectorizer,我正在使用来自scikit learn的TfidfVectorizer和余弦_相似度。当我有一个新字符串，并且我试图找到与原始训练语料库中的字符串的余弦相似性时，我注意到，即使字符串是精确匹配的，加上新字符串中的其他新标记，无论有多少这样的附加标记，余弦相似性都是1.0 例如，如果x、y和z根本不在原始语料库中，则形式为“ab x y z”的新字符串与原始字符串“ab”的余弦相似性为1.0 我理解这种情况是如何发生的，因为在根据训练语料库建立的特征对新字符串进行矢量化时，会忽略新的标记，但我希望
编辑：以下是基于@Arash评论的插图： 我描述的场景试图将新输入与经过训练的语料库相匹配：
corpus = (
"The sky is blue",
"The sun is bright",
"The sun in the sky is bright",
"We can see the shining sun, the bright sun"
)
input = ("The sky is blue",
"They say the sky is blue you know",
)
from sklearn.feature_extraction.text import TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer()
tfidf_corpus = tfidf_vectorizer.fit_transform(corpus)
print(tfidf_corpus.shape)
tfidf_input = tfidf_vectorizer.transform(input)
print(tfidf_input.shape)
from sklearn.metrics.pairwise import cosine_similarity
cosine_similarity(tfidf_input, tfidf_corpus)
(4, 11)
(2, 11)
array([[1. , 0.36651513, 0.52305744, 0.13448867],
[1. , 0.36651513, 0.52305744, 0.13448867]])
简单地在语料库中包含新的输入数据并不是一个好的通用解决方案，因为我们将来可能会一次接收一个新的输入，我们不希望每次都要重新训练整个语料库来匹配一个新的输入文档/字符串。我无法复制您所描述的内容。试试这个：
文档=(
“天是蓝的”，
“天空是蓝色的，你知道”，
“阳光明媚”，
“天空中的太阳是明亮的”，
“我们可以看到灿烂的太阳，灿烂的太阳”
)
从sklearn.feature\u extraction.text导入TfidfVectorizer
tfidf_矢量化器=TfidfVectorizer（）
tfidf_矩阵=tfidf_矢量器.拟合变换（文档）
打印（tfidf_矩阵形状）
从sklearn.metrics.pairwise导入余弦_相似性
余弦相似性（tfidf_矩阵[0:1]，tfidf_矩阵）
数组（[[1,0.67166626,0.35369001,0.50353381,0.13245011]]
编辑 您描述的问题是向量是相同的。您希望TF-IDF将生词和生词的频率考虑在内。 所以，你可以这样做：
#将tfidf#U矢量器重新安装到语料库和新文档中
tfidf_矢量器.fit（输入+语料库）
#使用新模型进行转换
tfidf_输入=tfidf_矢量器.转换（输入）
tfidf\u input.toarray（）