Python Tensorflow seq2seq chatbot始终提供相同的输出

我试图用Tensorflow制作一个seq2seq聊天机器人，但它似乎收敛到相同的输出，尽管输入不同。该模型在首次初始化时给出不同的输出，但在几个时期后迅速收敛到相同的输出。即使经历了许多时代和低成本，这仍然是一个问题。然而，当使用较小的数据集（比如20个）进行训练时，这些模型似乎表现良好，但在使用较大的数据集时却失败了

我正在康奈尔大学电影对话语料库上进行培训，其中有一个100维和50000个vocab的手套预训练嵌入

当给定完全不同的输入时，编码器似乎具有非常接近的最终状态（范围约为0.01）。我尝试过使用简单的LSTM/GRU、双向LSTM/GRU、多层/堆叠LSTM/GRU和多层双向LSTM/GRU。rnn节点已经用16到2048个隐藏单元进行了测试。唯一的区别是，当隐藏单位较少时，模型倾向于只输出开始和结束标记（GO和EOS）

对于多层GRU，以下是我的代码：

cell_encode_0 = tf.contrib.rnn.GRUCell(self.n_hidden)
cell_encode_1 = tf.contrib.rnn.GRUCell(self.n_hidden)
cell_encode_2 = tf.contrib.rnn.GRUCell(self.n_hidden)
self.cell_encode = tf.contrib.rnn.MultiRNNCell([cell_encode_0, cell_encode_1, cell_encode_2])
# identical decoder

...

embedded_x = tf.nn.embedding_lookup(self.word_embedding, self.x)
embedded_y = tf.nn.embedding_lookup(self.word_embedding, self.y)

_, self.encoder_state = tf.nn.dynamic_rnn(
    self.cell_encode,
    inputs=embedded_x,
    dtype=tf.float32,
    sequence_length=self.x_length
    )

# decoder for training
helper = tf.contrib.seq2seq.TrainingHelper(
    inputs=embedded_y,
    sequence_length=self.y_length
    )

decoder = tf.contrib.seq2seq.BasicDecoder(
    self.cell_decode,
    helper,
    self.encoder_state,
    output_layer=self.projection_layer
    )

outputs, _, _ = tf.contrib.seq2seq.dynamic_decode(decoder, maximum_iterations=self.max_sequence, swap_memory=True)

return outputs.rnn_output

...

# Optimization
dynamic_max_sequence = tf.reduce_max(self.y_length)
mask = tf.sequence_mask(self.y_length, maxlen=dynamic_max_sequence, dtype=tf.float32)
crossent = tf.nn.sparse_softmax_cross_entropy_with_logits(
    labels=self.y[:, :dynamic_max_sequence], logits=self.network())
self.cost = (tf.reduce_sum(crossent * mask) / batch_size)
self.train_op = tf.train.AdamOptimizer(self.learning_rate).minimize(self.cost)

有关完整代码，请参阅。（如果要测试它，请运行train.py）

---

至于超参数，我尝试了从0.1到0.0001的学习率，以及从1到32的批量大小。除了常规的和预期的效果之外，它们对问题没有帮助。

经过几个月的研究，我终于找到了问题所在。似乎RNN在解码器输入中需要GO令牌，但在输出中不需要GO令牌（您为节省成本而使用的）。基本上，RNN预期其数据如下：

编码器输入：GO foo foo EOS

解码器输入/地面真相：GO bar EOS

解码器输出：bar EOS EOS/PAD

在我的代码中，我在解码器输入和输出中都包含了GO标记，导致RNN重复相同的标记（GO->GO，bar->bar）。这可以通过创建一个没有基本事实第一列（GO标记）的附加变量来轻松解决。在numpy中，这看起来像

# y is ground truth with shape[0] = batch and shape[1] = token index
np.concatenate([y[:, 1:], np.full([y.shape[0], 1], EOS)], axis=1)