Nlp 变压器模型的输入

Nlp 变压器模型的输入,nlp,sequence,transformer,attention-model,Nlp,Sequence,Transformer,Attention Model,我试图理解变压器模型。请考虑我下面的例子,帮助我理解这个概念。 示例:英语到法语的转换 我的问题是: 输入单词嵌入是英语-法语预训练嵌入吗 在解码器的哪个步骤中,法语单词的预测正在发生 在解码器中嵌入的输出在预测之前只是解码器的输出,如果是,为什么我要屏蔽下一个单词,因为我还不知道,因为我还没有作为输出传递 请澄清我的疑问 我还提到了这些链接:

我试图理解变压器模型。请考虑我下面的例子,帮助我理解这个概念。

示例:英语到法语的转换

我的问题是:

  • 输入单词嵌入是英语-法语预训练嵌入吗

  • 在解码器的哪个步骤中,法语单词的预测正在发生

  • 在解码器中嵌入的输出在预测之前只是解码器的输出,如果是,为什么我要屏蔽下一个单词,因为我还不知道,因为我还没有作为输出传递

  • 请澄清我的疑问

    我还提到了这些链接: