Fatal编程技术网
  • nlp/
  • Nlp 变压器模型的输入

Nlp 变压器模型的输入

nlp

Nlp 变压器模型的输入,nlp,sequence,transformer,attention-model,Nlp,Sequence,Transformer,Attention Model,我试图理解变压器模型。请考虑我下面的例子，帮助我理解这个概念。 示例：英语到法语的转换 我的问题是: 输入单词嵌入是英语-法语预训练嵌入吗 在解码器的哪个步骤中，法语单词的预测正在发生 在解码器中嵌入的输出在预测之前只是解码器的输出，如果是，为什么我要屏蔽下一个单词，因为我还不知道，因为我还没有作为输出传递 请澄清我的疑问 我还提到了这些链接：

我试图理解变压器模型。请考虑我下面的例子，帮助我理解这个概念。

示例：英语到法语的转换

我的问题是:

  • 输入单词嵌入是英语-法语预训练嵌入吗

  • 在解码器的哪个步骤中，法语单词的预测正在发生

  • 在解码器中嵌入的输出在预测之前只是解码器的输出，如果是，为什么我要屏蔽下一个单词，因为我还不知道，因为我还没有作为输出传递

    • 请澄清我的疑问

    我还提到了这些链接：