Nlp 如何'；当训练CNN时，输入字2VEC得到微调

当我读到Yoon Kim纽约大学的论文“用于句子分类的卷积神经网络”时，我注意到该论文实现了“CNN非静态”模型——一个包含word2vec和所有单词的预训练向量的模型——包括随机初始化的未知单词，并且针对每个任务对预训练向量进行微调。

---

因此，我不明白如何为每项任务对预先训练的向量进行微调。因为据我所知，输入向量是由word2vec.bin（预训练）从字符串转换而来的，就像图像矩阵一样，在训练过程中不能改变。那么，如果他们可以，怎么做？请帮帮我，提前多谢

单词嵌入是神经网络的权重，因此可以在反向传播过程中更新

例如：

自然地，每个前馈神经网络将词汇表中的单词作为输入，并将它们作为向量嵌入到低维空间中，然后通过反向传播进行微调，必然会产生单词嵌入，作为第一层的权重，通常称为嵌入层

---

单词嵌入是神经网络的权重，因此可以在反向传播过程中进行更新

例如：

自然地，每个前馈神经网络将词汇表中的单词作为输入，并将它们作为向量嵌入到低维空间中，然后通过反向传播进行微调，必然会产生单词嵌入，作为第一层的权重，通常称为嵌入层

---

谢谢你的回复，现在我明白了，但我还是有问题，希望你能帮我，谢谢！以下是我的问题：1.当我训练自己的CNN进行文本分类时，我使用word2vec初始化单词，然后我只使用这些预先训练的向量作为我的输入功能来训练CNN，因此如果我没有嵌入层，它肯定无法通过反向传播进行任何微调。我的问题是，如果我想做一个好的星期二，这是否意味着创建一个嵌入层？以及如何创建它？2.当我们训练word2vec时，我们使用无监督训练，对吗？在我的例子中，我使用skip-gram模型来获得预先训练好的word2vec；但是，当我使用vec.bin并在文本分类模型（CNN）中使用它作为我的单词初始化器时，如果我能在vec.bin中微调单词到向量的映射，这是否意味着我必须拥有一个CNN网络结构，与训练我的word2vec？3时的结构完全相同。skip gram模型和CBOW模型是否仅用于无监督的word2vec培训？或者它们也可以应用于其他一般文本分类任务？word2vec无监督培训监督微调之间的网络有什么不同？希望您不要失去耐心！如果你能帮我，我真的很感激！再次感谢你！谢谢你的回复，现在我明白了，但我还是有问题，希望你能帮我，谢谢！以下是我的问题：1.当我训练自己的CNN进行文本分类时，我使用word2vec初始化单词，然后我只使用这些预先训练的向量作为我的输入功能来训练CNN，因此如果我没有嵌入层，它肯定无法通过反向传播进行任何微调。我的问题是，如果我想做一个好的星期二，这是否意味着创建一个嵌入层？以及如何创建它？2.当我们训练word2vec时，我们使用无监督训练，对吗？在我的例子中，我使用skip-gram模型来获得预先训练好的word2vec；但是，当我使用vec.bin并在文本分类模型（CNN）中使用它作为我的单词初始化器时，如果我能在vec.bin中微调单词到向量的映射，这是否意味着我必须拥有一个CNN网络结构，与训练我的word2vec？3时的结构完全相同。skip gram模型和CBOW模型是否仅用于无监督的word2vec培训？或者它们也可以应用于其他一般文本分类任务？word2vec无监督培训监督微调之间的网络有什么不同？希望您不要失去耐心！如果你能帮我，我真的很感激！再次感谢你！