Python Tensorflow seq2seq获取序列隐藏状态
不久前我才开始研究tensorflow。我正在研究seq2seq模型,不知何故,我得到了教程,但我一直在获取每个句子的状态 据我所知,seq2seq模型接受一个输入序列,并通过RNN为序列生成一个隐藏状态。之后,模型使用序列的隐藏状态生成新的数据序列 我的问题是,如果我想直接使用输入序列的隐藏状态,我应该怎么做?比如说,如果我有一个经过训练的模型,我应该如何获得输入序列[token1,token2,…,tokenn]的最终隐藏状态Python Tensorflow seq2seq获取序列隐藏状态,python,tensorflow,Python,Tensorflow,不久前我才开始研究tensorflow。我正在研究seq2seq模型,不知何故,我得到了教程,但我一直在获取每个句子的状态 据我所知,seq2seq模型接受一个输入序列,并通过RNN为序列生成一个隐藏状态。之后,模型使用序列的隐藏状态生成新的数据序列 我的问题是,如果我想直接使用输入序列的隐藏状态,我应该怎么做?比如说,如果我有一个经过训练的模型,我应该如何获得输入序列[token1,token2,…,tokenn]的最终隐藏状态 我已经被困在这个问题上两天了,我尝试了许多不同的方法,但都不管用
我已经被困在这个问题上两天了,我尝试了许多不同的方法,但都不管用。在seq2seq模型中,编码器始终是一个RNN,通过RNN.RNN调用 对rnn.rnn的调用将返回输出和状态,因此要仅获取状态,可以执行以下操作: _,encoder\u state=rnn.rnn(encoder\u单元,encoder\u输入,dtype=dtype)
在seq2seq模块中也以同样的方式进行 好吧,我想我的问题是我真的不知道如何用tensorflow风格编码,所以我有点粗暴地强迫它 (*表示要修改的位置) 在python/ops/seq2seq中,使用_bucket()修改模型_ 在python/ops/seq2seq中,修改嵌入_attention_seq2seq() 在model/rnn/translate/seq2seq_model.py modifyinit() 在model/rnn/translate/seq2seq_model.py修改步骤()处 完成所有这些操作后,我们可以通过调用:
_, _, output_logits, states = model.step(sess, encoder_inputs, decoder_inputs,
target_weights, bucket_id, True)
print (states)
\uu,\uu,\uu,states=model.step(所有其他参数,forward\u only=True)
bearsteak上面的答案很好,但它基于tensorflow-0.6,已经过时了。所以我在tensorflow-0.8中更新了他的答案,这与最新版本中的答案相似
(*表示要修改的位置)
在python/ops/seq2seq中,修改嵌入_attention_seq2seq()
在model/rnn/translate/seq2seq_model.py modify init()处
在model/rnn/translate/seq2seq_model.py修改步骤()处
完成所有这些操作后,我们可以通过调用:
_, _, output_logits, states = model.step(sess, encoder_inputs, decoder_inputs,
target_weights, bucket_id, True)
print (states)
在translate.py中。谢谢您的回复。我确实找到了那行代码,问题是我不知道如何调用它。以tensorflow中的翻译示例为例,我们首先构建一个名为model的seq2seqmodel类,并运行
model.step()
来训练seq2seq。如果我没有理解错,它会通过,但是从这里我非常感谢你的回答,但是你的更改是基于0.6,这已经过时了。在最新的0.11或更新版本中是否有相应的更改?
if forward_only:
* self.outputs, self.losses, self.states = seq2seq.model_with_buckets(
self.encoder_inputs, self.decoder_inputs, targets,
self.target_weights, buckets, self.target_vocab_size,
lambda x, y: seq2seq_f(x, y, True),
softmax_loss_function=softmax_loss_function)
# If we use output projection, we need to project outputs for decoding.
if output_projection is not None:
for b in xrange(len(buckets)):
self.outputs[b] = [tf.nn.xw_plus_b(output, output_projection[0],
output_projection[1])
for output in self.outputs[b]]
else:
* self.outputs, self.losses,_ = seq2seq.model_with_buckets(
self.encoder_inputs, self.decoder_inputs, targets,
self.target_weights, buckets, self.target_vocab_size,
lambda x, y: seq2seq_f(x, y, False),
softmax_loss_function=softmax_loss_function)
if not forward_only:
return outputs[1], outputs[2], None # Gradient norm, loss, no outputs.
else:
*return None, outputs[0], outputs[1:-1], outputs[-1]
losses = []
outputs = []
*states = []
with ops.op_scope(all_inputs, name, "model_with_buckets"):
for j, bucket in enumerate(buckets):
with variable_scope.variable_scope(variable_scope.get_variable_scope(),
reuse=True if j > 0 else None):
*bucket_outputs, _ ,bucket_states= seq2seq(encoder_inputs[:bucket[0]],
decoder_inputs[:bucket[1]])
outputs.append(bucket_outputs)
if per_example_loss:
losses.append(sequence_loss_by_example(
outputs[-1], targets[:bucket[1]], weights[:bucket[1]],
softmax_loss_function=softmax_loss_function))
else:
losses.append(sequence_loss(
outputs[-1], targets[:bucket[1]], weights[:bucket[1]],
softmax_loss_function=softmax_loss_function))
return outputs, losses, *states
if isinstance(feed_previous, bool):
*outputs, states = embedding_attention_decoder(
decoder_inputs, encoder_state, attention_states, cell,
num_decoder_symbols, embedding_size, num_heads=num_heads,
output_size=output_size, output_projection=output_projection,
feed_previous=feed_previous,
initial_state_attention=initial_state_attention)
*return outputs, states, encoder_state
# If feed_previous is a Tensor, we construct 2 graphs and use cond.
def decoder(feed_previous_bool):
reuse = None if feed_previous_bool else True
with variable_scope.variable_scope(variable_scope.get_variable_scope(),reuse=reuse):
outputs, state = embedding_attention_decoder(
decoder_inputs, encoder_state, attention_states, cell,
num_decoder_symbols, embedding_size, num_heads=num_heads,
output_size=output_size, output_projection=output_projection,
feed_previous=feed_previous_bool,
update_embedding_for_previous=False,
initial_state_attention=initial_state_attention)
return outputs + [state]
outputs_and_state = control_flow_ops.cond(feed_previous, lambda: decoder(True), lambda: decoder(False))
*return outputs_and_state[:-1], outputs_and_state[-1], encoder_state
if forward_only:
*self.outputs, self.losses, self.states= tf.nn.seq2seq.model_with_buckets(
self.encoder_inputs, self.decoder_inputs, targets,
self.target_weights, buckets, lambda x, y: seq2seq_f(x, y, True),
softmax_loss_function=softmax_loss_function)
# If we use output projection, we need to project outputs for decoding.
if output_projection is not None:
for b in xrange(len(buckets)):
self.outputs[b] = [
tf.matmul(output, output_projection[0]) + output_projection[1]
for output in self.outputs[b]
]
else:
*self.outputs, self.losses, _ = tf.nn.seq2seq.model_with_buckets(
self.encoder_inputs, self.decoder_inputs, targets,
self.target_weights, buckets,
lambda x, y: seq2seq_f(x, y, False),
softmax_loss_function=softmax_loss_function)
if not forward_only:
return outputs[1], outputs[2], None # Gradient norm, loss, no outputs.
else:
*return None, outputs[0], outputs[1:], outputs[-1] # No gradient norm, loss, outputs.
_, _, output_logits, states = model.step(sess, encoder_inputs, decoder_inputs,
target_weights, bucket_id, True)
print (states)