Nlp 为什么我们需要在递归神经网络中嵌入微调单词？

在theano的教程中，在最后一部分提到

我们通过在每次更新后对其进行规范化，将单词嵌入保持在单位球体上：

我在网上搜索了一下，只找到了第3.5.1章提到的文章，它是一个微调单词嵌入

---

我不明白为什么我们可以微调单词嵌入<代码>自我。emb是这个RNN模型的输入，对吗？如何更改输入值？

我遇到了这个问题，这是我的理解：

实际上，

self.emb

不仅仅是RNN的输入，它还像一部分参数（或word2vec中的向量），经过训练以适应单词

当我们将其作为参数时，微调是合理的

但当我们将其作为输入时，规范化就变得合理了

另外，我读了你提到的论文，我认为微调不包含标准化，因为微调是一种监督学习，但标准化只是数据处理

self.normalize = theano.function(inputs=[],
                                  updates={self.emb:
                                              self.emb /
                                              T.sqrt((self.emb**2)
                                              .sum(axis=1))
                                              .dimshuffle(0, 'x')})
                                              .sum(axis=1))
                                              .dimshuffle(0, 'x')})