Nlp 关于Pytork seq2seq教程中注意力计算的问题:与原始Badahnau或Luong论文不一致

Nlp 关于Pytork seq2seq教程中注意力计算的问题:与原始Badahnau或Luong论文不一致,nlp,pytorch,attention-model,Nlp,Pytorch,Attention Model,我正在研究最近的关注。我有点怀疑他们计算的注意力是Pytorch NLP注意力教程: 在本教程中,他们使用解码器的输入和解码器的隐藏状态计算分数或权重。然而,我发现良和巴达诺都没有这样做的原因。相反,两者都使用解码器隐藏状态和编码器输出来计算权重。 为什么Pytorch教程会这样做?对于Luong和Bahdanau来说,Pytorch教程似乎有所不同。但确实如此。注意解码器接受一个名为encoder\u output的参数,并根据该参数计算atnscores@KonstantinosKokos,

我正在研究最近的关注。我有点怀疑他们计算的注意力是Pytorch NLP注意力教程:

在本教程中,他们使用解码器的输入和解码器的隐藏状态计算分数或权重。然而,我发现良和巴达诺都没有这样做的原因。相反,两者都使用解码器隐藏状态和编码器输出来计算权重。
为什么Pytorch教程会这样做?

对于Luong和Bahdanau来说,Pytorch教程似乎有所不同。

但确实如此。注意解码器接受一个名为
encoder\u output
的参数,并根据该参数计算atnscores@KonstantinosKokos,据我所知,Luong或Badahnau使用解码器隐藏状态和编码器输出来计算权重,而Pytorch教程仅使用解码器输入和解码器隐藏状态来计算权重。检查类AttnDecoderRNN定义。