Fatal编程技术网
  • nlp/
  • Nlp 变压器模型中的位置嵌入-是否更改了单词'；什么意思？

Nlp 变压器模型中的位置嵌入-是否更改了单词'；什么意思？

nlp

Nlp 变压器模型中的位置嵌入-是否更改了单词'；什么意思？,nlp,transformer,Nlp,Transformer,我正在读变压器的论文，位置嵌入让我想知道一件事： 假设单词“cat”经过预训练嵌入单词vector[2,3,1,4]。如果我们使用位置编码将向量转换为一个新的向量，如[3,1,5,2]，它是否也会改变单词2vec矩阵中的含义？由于语料库很大，值的细微变化也会改变其含义。word2vec和Transformer对待标记的方式完全不同 word2vec是上下文无关的，这意味着bank始终是word2vec矩阵中的某个固定向量，换句话说，bank的向量不依赖于标记在句子中的位置 另一方面，Transf

我正在读变压器的论文，位置嵌入让我想知道一件事：

假设单词“cat”经过预训练嵌入单词vector
[2,3,1,4]
。如果我们使用位置编码将向量转换为一个新的向量，如
[3,1,5,2]
，它是否也会改变单词2vec矩阵中的含义？由于语料库很大，值的细微变化也会改变其含义。

word2vec和Transformer对待标记的方式完全不同

word2vec是上下文无关的，这意味着
bank
始终是word2vec矩阵中的某个固定向量，换句话说，
bank
的向量不依赖于标记在句子中的位置

另一方面，Transformer作为输入接收托克斯的嵌入和位置嵌入，为令牌添加位置感。否则，它将文本作为一袋单词而不是一个序列