Python 当状态为True时，如何设置TensorFlow RNN状态？

我写了一封信。该模型作为

RNN

类实现。图结构在构造函数中构建，而

RNN.train

和

RNN.test

方法运行它

当我移动到培训集中的新文档时，或者当我想在培训期间运行验证集时，我希望能够重置RNN状态。我通过管理训练循环中的状态来实现这一点，并通过提要字典将其传递到图形中

在构造函数中，我这样定义RNN

    cell = tf.nn.rnn_cell.LSTMCell(hidden_units)
    rnn_layers = tf.nn.rnn_cell.MultiRNNCell([cell] * layers)
    self.reset_state = rnn_layers.zero_state(batch_size, dtype=tf.float32)
    self.state = tf.placeholder(tf.float32, self.reset_state.get_shape(), "state")
    self.outputs, self.next_state = tf.nn.dynamic_rnn(rnn_layers, self.embedded_input, time_major=True,
                                                  initial_state=self.state)

训练循环如下所示

 for document in document:
     state = session.run(self.reset_state)
     for x, y in document:
          _, state = session.run([self.train_step, self.next_state], 
                                 feed_dict={self.x:x, self.y:y, self.state:state})

x

和

y

是文档中的成批培训数据。我的想法是在每个批处理之后传递最新的状态，除了启动新文档时，通过运行

self.reset\u state

将状态归零

这一切都有效。现在我想更改我的RNN以使用推荐的

状态\u is\u tuple=True

。但是，我不知道如何通过提要字典传递更复杂的LSTM状态对象。另外，我不知道要传递给构造函数中的

self.state=tf.placeholder（…）

行的参数是什么

这里的正确策略是什么？关于

dynamic\n

的示例代码或文档仍然不多

---

TensorFlow问题和相关问题

关于WILDML的一篇文章解决了这些问题，但没有直接给出答案

---

另请参见。

Tensorflow占位符的一个问题是，您只能使用Python列表或Numpy数组（我认为）为其提供数据。因此，无法在LSTMStateTuple的元组中保存运行之间的状态

我用这样的张量来保存状态，解决了这个问题

 for document in document:
     state = session.run(self.reset_state)
     for x, y in document:
          _, state = session.run([self.train_step, self.next_state], 
                                 feed_dict={self.x:x, self.y:y, self.state:state})

initial_state=np.zero（（层数，2，批量大小，状态大小））

LSTM层中有两个组件，单元状态和隐藏状态，这就是“2”的来源。（这篇文章很棒：）

在构建图形时，您将解压缩并创建元组状态，如下所示：

state_placeholder = tf.placeholder(tf.float32, [num_layers, 2, batch_size, state_size])
l = tf.unpack(state_placeholder, axis=0)
rnn_tuple_state = tuple(
         [tf.nn.rnn_cell.LSTMStateTuple(l[idx][0],l[idx][1])
          for idx in range(num_layers)]
)

然后你会以通常的方式得到新的状态

cell = tf.nn.rnn_cell.LSTMCell(state_size, state_is_tuple=True)
cell = tf.nn.rnn_cell.MultiRNNCell([cell] * num_layers, state_is_tuple=True)

outputs, state = tf.nn.dynamic_rnn(cell, series_batch_input, initial_state=rnn_tuple_state)

---

不应该是这样的。。。也许他们正在研究一个解决方案。

在RNN状态下馈送的一个简单方法是分别馈送状态元组的两个组件

# Constructing the graph
self.state = rnn_cell.zero_state(...)
self.output, self.next_state = tf.nn.dynamic_rnn(
    rnn_cell,
    self.input,
    initial_state=self.state)

# Running with initial state
output, state = sess.run([self.output, self.next_state], feed_dict={
    self.input: input
})

# Running with subsequent state:
output, state = sess.run([self.output, self.next_state], feed_dict={
    self.input: input,
    self.state[0]: state[0],
    self.state[1]: state[1]
})

---

检查

rnn\u单元。_未打包状态

和

rnn\u单元。_打包状态

。这些用于

rnn.\u dynamic\u rnn\u loop（）

将状态作为参数张量列表传递给循环函数。在最新的TensorFlow源代码中，我没有看到字符串

\u unpacket\u state

和

\u packeted\u state

。这些名字变了吗？嗯，那些已经被删除了。相反，引入了一个新模块

tf.python.util.nest

，其中包含类似的

flatte

和

pack\u sequence\u as

。是否有人尝试更新他们的TF1.0.1代码？API发生了显著的变化。如果只有一个层，它是否会变成

状态占位符=tf.占位符（tf.float32[2，批处理大小，状态大小]）

和

初始状态=np.零（（2，批处理大小，状态大小））

？