Python 变压器的输入和输出是什么?

Python 变压器的输入和输出是什么?,python,tensorflow,nlp,transformer,Python,Tensorflow,Nlp,Transformer,我对谷歌实现的Transformer有疑问 在train\u步骤(输入,tar)函数中:inp维度是256*40张量,转换器返回256*39*8089张量。inp中的每一行都是一个句子吗?我希望Transformer能够获取一批句子(2D矩阵的一批大小,其中每一行都是一个单词),并立即计算注意力权重和输出,然后将它们传递给解码器(参见)。但是,我看不到代码中实现了这一点 在train\u步骤(输入,tar)功能中:“预测”是一个256*39*8089张量。是[批量大小、句子中的最大字数、目标词

我对谷歌实现的Transformer有疑问

  • train\u步骤(输入,tar)
    函数中:
    inp
    维度是256*40张量,转换器返回256*39*8089张量。
    inp
    中的每一行都是一个句子吗?我希望Transformer能够获取一批句子(2D矩阵的一批大小,其中每一行都是一个单词),并立即计算注意力权重和输出,然后将它们传递给解码器(参见)。但是,我看不到代码中实现了这一点

  • train\u步骤(输入,tar)
    功能中:“预测”是一个256*39*8089张量。是[批量大小、句子中的最大字数、目标词库大小]?loss_函数如何计算损耗,而这种格式与“`tar_real``不同,后者是[256*39]

  • def evaluate(inp_句)
    中:为什么在每次迭代中它都向变压器发送整个编码器输入?我期望编码器计算一次注意权重和输出,然后在for循环中发送到目前为止注意和预测的输出

多谢各位