Fatal编程技术网
  • nlp/
  • Nlp 句子编码和语境化词语嵌入有什么区别？

Nlp 句子编码和语境化词语嵌入有什么区别？

nlp

Nlp 句子编码和语境化词语嵌入有什么区别？,nlp,word-embedding,elmo,bert-language-model,Nlp,Word Embedding,Elmo,Bert Language Model,我在阅读关于伯特和埃尔莫的论文时看到了这两个词，所以我想知道它们之间是否有区别。 语境化词语嵌入是一种在特定语境中表示词语的向量。传统的单词嵌入（如Word2Vec和GloVe）为每个单词生成一个向量，而上下文化的单词嵌入根据上下文为单词生成一个向量。考虑句子鸭子在游泳 >代码>当有人向你射击时，你会躲避。在传统的单词嵌入中，duck的单词向量在两个句子中是相同的，而在上下文化的情况下则应该是不同的 当单词嵌入将单词编码成矢量表示时，还有一个问题是如何以计算机可以轻松处理的方式表示整个句子。这些

我在阅读关于伯特和埃尔莫的论文时看到了这两个词，所以我想知道它们之间是否有区别。

  • 语境化词语嵌入是一种在特定语境中表示词语的向量。传统的单词嵌入（如Word2Vec和GloVe）为每个单词生成一个向量，而上下文化的单词嵌入根据上下文为单词生成一个向量。考虑句子<代码>鸭子在游泳 >代码>当有人向你射击时，你会躲避。在传统的单词嵌入中，
    duck
    的单词向量在两个句子中是相同的，而在上下文化的情况下则应该是不同的
  • 当单词嵌入将单词编码成矢量表示时，还有一个问题是如何以计算机可以轻松处理的方式表示整个句子。这些句子编码可以将整个句子嵌入为一个向量，例如doc2vec，它为句子生成一个向量。但是BERT也为整个句子生成一个表示，即[CLS]-标记
简言之，共文化的单词嵌入表示上下文中的单词，而句子编码表示整个句子