Nlp CBOWWord2vec中特定单词的向量是什么？

经典的CBOW word2vec看起来像：

---

在这个方案中，特定单词的向量是什么？它是如何从WI和WO矩阵中获得的？或者只从Skip gram word2vec中获取有用的字向量？

对于您所示的图表，WI矩阵中的每一行都是字向量。（培训后，当您向模型询问“cat”之类的单词时，它会找出从0到V的哪个插槽存储“cat”，然后返回WI矩阵的那一行。）

WI用随机的低幅值向量初始化。WO在培训开始时保留为零。在训练期间，通过反向传播校正推送，反复改进WO和WI的各行，以使网络的输出层更能预测每个（上下文）->（单词）训练示例

对于skip gram，您可以将此图中的输入层视为单个上下文输入字的一个热编码。对于CBOW，你可以把这个图中的输入层看作是多词上下文中每个单词的计数，作为席值（最零点（稀疏））。在CBOW的实践中，每个单词都在WI中查找，并对其单词向量进行平均，以创建隐藏层激活

skip gram和CBOW都可以在WI中创建有用的字向量