Tensorflow:如果LSTM为';重复使用';对于新输入,其隐藏状态是否重置?在一次向前传球中

Tensorflow:如果LSTM为';重复使用';对于新输入,其隐藏状态是否重置?在一次向前传球中,tensorflow,rnn,Tensorflow,Rnn,问题:我有一个具有变量作用域名称“rnn”的LSTM单元,并将其分配为“scope” 如果我在图中使用scope.reuse_variables(),我知道权重会被重新用于新的输入X 但是如果重新使用权重,LSTM隐藏状态是否会自动重置。。。还是每次调用scope.reuse_variables()时都必须显式重置隐藏状态 谢谢大家! 隐藏状态不会与模型一起保存。它取决于输入数据(输入/排队等)。这是否意味着tensorfow在正向传递中没有为隐藏状态保留内部内存?啊。通过“与模型一起保存”,我

问题:我有一个具有变量作用域名称“rnn”的LSTM单元,并将其分配为“scope”

如果我在图中使用scope.reuse_variables(),我知道权重会被重新用于新的输入X

但是如果重新使用权重,LSTM隐藏状态是否会自动重置。。。还是每次调用scope.reuse_variables()时都必须显式重置隐藏状态


谢谢大家!

隐藏状态不会与模型一起保存。它取决于输入数据(输入/排队等)。

这是否意味着tensorfow在正向传递中没有为隐藏状态保留内部内存?啊。通过“与模型一起保存”,我的意思是它们不会保存在检查点/元图/写入持久性存储的任何内容中,并且重用变量不会(直接)重用激活。当图形正在执行时(a
session.run
call),中间激活将保留在内存中,如果它们将用于计算梯度(在训练期间)。如果不请求渐变,它们几乎会立即被丢弃。(这只是数据流编程的更一般的“在节点执行之前保留输入”策略的一种效果。)