Python 为什么在TensorFlow中的seq2seq模型的输出投影中使用单位数?
我不明白为什么在seq2seq模型中,层中的单位数用作向外投影的参数。具体来说,下面是让我困惑的代码(中的第98行) 这里,“大小”是模型每个层中的单元数。为什么? 我认为应该改为num_示例(通常,size和num_示例都是512)。但是,当我尝试将num_samples设置为500,将size设置为512并运行训练时,它抱怨维度不匹配Python 为什么在TensorFlow中的seq2seq模型的输出投影中使用单位数?,python,tensorflow,Python,Tensorflow,我不明白为什么在seq2seq模型中,层中的单位数用作向外投影的参数。具体来说,下面是让我困惑的代码(中的第98行) 这里,“大小”是模型每个层中的单元数。为什么? 我认为应该改为num_示例(通常,size和num_示例都是512)。但是,当我尝试将num_samples设置为500,将size设置为512并运行训练时,它抱怨维度不匹配 有人能帮我理解这一点吗?提前感谢。权重矩阵正在从模型状态映射到词汇表。抽样只是为了避免评估整个softmax;对于一个固定的模型,不同运行的样本数量可能会有所
有人能帮我理解这一点吗?提前感谢。权重矩阵正在从模型状态映射到词汇表。抽样只是为了避免评估整个softmax;对于一个固定的模型,不同运行的样本数量可能会有所不同。感谢您的回复。我理解输出预测的目的。它将较大的词汇量映射为较小的词汇量(x),以便在训练时计算softmax,并将x映射回测试/预测时的词汇量。这就是为什么我不明白为什么我提到的x应该与层中的单元数有关。
w_t = tf.get_variable("proj_w", [self.target_vocab_size, size], dtype=dtype)