Python 什么是投影层的背景下，神经机器翻译使用RNN？

我读了一篇关于机器翻译的论文，它使用了投影层。 投影层解释如下：“附加投影旨在降低编码器输出表示的维数，以匹配解码器堆栈维数。”

有人知道这个架构或者如何在Pytorch中实现这个层吗

该报的链接：

模型架构：

---

这是一个标准的线性投影。您只需添加

nn.Linear（2*model\u dim，model\u dim）

，其中

model\u dim

是RNN维度

编码器是双向的，两个方向上的一个RNN具有尺寸

model\u dim

的输出。解码器仅在正向工作，因此其状态仅为

model\u dim

维度。实际上，它在“multi-head attention”中保存了很多参数，因为它使键和值的投影只有一半大小，因为它们是从

model\u dim

而不是

2*model\u dim

投影的