Python 上下文敏感张量和词向量的区别

我目前正在与spacy一起使用python，有不同的预训练模型，如en_core_web_sm或en_core_web_md。其中一个是使用单词向量来查找单词相似性，另一个是使用上下文敏感张量。

---

使用上下文敏感张量和使用词向量有什么区别？什么是上下文敏感张量？

单词向量存储在模型的一个大表中，当您查找

cat

时，您总是从该表中得到相同的向量

上下文敏感张量是在分析文本时由管道中的模型计算的密集特征向量。在不同的文本中，

cat

会得到不同的向量。如果使用

en\u core\u web\u sm

，则

I have a cat

中的令牌

cat

将不会具有与

中相同的向量，因为cat是黑色的。当模型不包含词向量时，使用上下文敏感张量可以在一定程度上使相似性函数发挥作用，但结果与使用词向量时大不相同

在大多数情况下，您可能希望使用带有单词向量的
\u md
或
\u lg
模型