Python Tensorflow：使用在一个模型中训练的权重在另一个不同的模型中进行训练

我正在尝试使用小批量在Tensorflow中培训LSTM，但培训完成后，我希望通过每次提交一个示例来使用该模型。我可以在Tensorflow中设置图形来训练我的LSTM网络，但我不能以我想要的方式使用训练后的结果

设置代码如下所示：

#Build the LSTM model.
cellRaw = rnn_cell.BasicLSTMCell(LAYER_SIZE)
cellRaw = rnn_cell.MultiRNNCell([cellRaw] * NUM_LAYERS)

cell = rnn_cell.DropoutWrapper(cellRaw, output_keep_prob = 0.25)

input_data  = tf.placeholder(dtype=tf.float32, shape=[SEQ_LENGTH, None, 3])
target_data = tf.placeholder(dtype=tf.float32, shape=[SEQ_LENGTH, None])
initial_state = cell.zero_state(batch_size=BATCH_SIZE, dtype=tf.float32)

with tf.variable_scope('rnnlm'):
    output_w = tf.get_variable("output_w", [LAYER_SIZE, 6])
    output_b = tf.get_variable("output_b", [6])

outputs, final_state = seq2seq.rnn_decoder(input_list, initial_state, cell, loop_function=None, scope='rnnlm')
output = tf.reshape(tf.concat(1, outputs), [-1, LAYER_SIZE])
output = tf.nn.xw_plus_b(output, output_w, output_b)

…请注意两个占位符，即输入数据和目标数据。我没有费心包括优化器设置。培训完成且培训课程结束后，我想建立一个新的课程，使用经过培训的LSTM网络，其输入由一个完全不同的占位符提供，如：

with tf.Session() as sess:
with tf.variable_scope("simulation", reuse=None):
    cellSim = cellRaw
    input_data_sim  = tf.placeholder(dtype=tf.float32, shape=[1, 1, 3])
    initial_state_sim = cell.zero_state(batch_size=1, dtype=tf.float32)
    input_list_sim = tf.unpack(input_data_sim)

    outputsSim, final_state_sim = seq2seq.rnn_decoder(input_list_sim, initial_state_sim, cellSim, loop_function=None, scope='rnnlm')
    outputSim = tf.reshape(tf.concat(1, outputsSim), [-1, LAYER_SIZE])

    with tf.variable_scope('rnnlm'):
        output_w = tf.get_variable("output_w", [LAYER_SIZE, nOut])
        output_b = tf.get_variable("output_b", [nOut])

    outputSim = tf.nn.xw_plus_b(outputSim, output_w, output_b)

此第二部分返回以下错误：

tensorflow.python.framework.errors.InvalidArgumentError: You must feed a value for placeholder tensor 'Placeholder' with dtype float
 [[Node: Placeholder = Placeholder[dtype=DT_FLOAT, shape=[], _device="/job:localhost/replica:0/task:0/cpu:0"]()]]

…大概是因为我使用的图形仍然将旧的训练占位符附加到经过训练的LSTM节点。“提取”经过训练的LSTM并将其放入具有不同输入风格的新的不同图形中的正确方法是什么？Tensorflow的可变作用域功能似乎解决了类似的问题，但示例都谈到使用变量作用域作为管理变量名称的一种方式，以便同一段代码在同一个图中生成类似的子图。“重用”功能似乎接近我想要的，但我觉得上面链接的Tensorflow文档根本不清楚它的功能。单元格本身无法命名（换句话说

cellRaw = rnn_cell.MultiRNNCell([cellRaw] * NUM_LAYERS, name="multicell")

无效），虽然我可以为seq2seq.rnn_decoder（）指定名称，但如果使用该节点不变，我可能无法删除rnn_cell.dropoutrapper（）

问题:

将经过训练的LSTM权重从一个图形移动到另一个图形的正确方法是什么

如果说启动一个新会话“释放资源”，但不会擦除内存中内置的图形，这对吗

在我看来，“重用”功能允许Tensorflow在当前变量范围外搜索具有相同名称（存在于不同范围内）的变量，并在当前范围内使用它们。这是正确的吗？如果是，那么链接到该变量的非当前作用域的所有图形边会发生什么情况？如果不是，那么如果您试图在两个不同的作用域中使用相同的变量名，为什么Tensorflow会抛出错误？在两个不同的作用域（例如conv1/sum1和conv2/sum1）中定义两个名称相同的变量似乎非常合理

在我的代码中，我在一个新的范围内工作，但是如果没有数据从初始的默认范围输入占位符，图形将无法运行。出于某种原因，默认范围总是“在范围内”吗

如果图形边可以跨越不同的作用域，并且不同作用域中的名称不能共享，除非它们引用的是完全相同的节点，那么这似乎就违背了首先使用不同作用域的目的。我在这里误解了什么

---

谢谢

将经过训练的LSTM权重从一个图形移动到另一个图形的正确方法是什么？

您可以先创建解码图（使用saver对象保存参数），然后创建GraphDef对象，您可以将其导入到更大的训练图中：

basegraph = tf.Graph()
with basegraph.as_default():
   ***your graph***

traingraph = tf.Graph()
with traingraph.as_default():
     tf.import_graph_def(basegraph.as_graph_def())
     ***your training graph***

确保在启动新图形的会话时加载变量

我没有使用此功能的经验，因此您可能需要进一步研究它

启动一个新会话“释放资源”，但不会擦除内存中内置的图形，这样说正确吗？

是的，图形对象仍然持有它

在我看来，“重用”功能允许Tensorflow在当前变量范围外搜索具有相同名称（存在于不同范围内）的变量，并在当前范围内使用它们。这是正确的吗？如果是，那么链接到该变量的非当前作用域的所有图形边会发生什么情况？如果不是，那么如果您试图在两个不同的作用域中使用相同的变量名，为什么Tensorflow会抛出错误？在两个不同的范围内定义两个名称相同的变量似乎非常合理，例如conv1/sum1和conv2/sum1。

不，重用是确定对现有名称使用get_变量时的行为，如果为真，则返回现有变量，否则返回新变量。通常，tensorflow不应抛出错误。您确定您使用的是tf.get_变量而不仅仅是tf.variable吗

在我的代码中，我在一个新范围内工作，但是如果没有数据从初始默认范围输入占位符，图形将无法运行。出于某种原因，默认范围是否总是“在范围内”？

我真的不明白你的意思。不必总是使用。如果运行操作不需要占位符，则无需定义占位符

如果图边可以跨越不同的作用域，并且不同作用域中的名称不能共享，除非它们指向完全相同的节点，那么这似乎就无法实现首先拥有不同作用域的目的。我在这里误解了什么？

---

我认为您对作用域的理解或使用是有缺陷的，请参见上面的

re：倒数第二个问题：我正在尝试训练一个模型，然后在同一个Python脚本中重用它。我根本没用这个软件。当我尝试重用该模型时，Tensorflow会抱怨，因为我没有提供特定于培训的占位符。它们不需要重复使用，但它们仍然存在于图表中。re：第一个问题：如果我必须更改输入占位符，该解决方案将如何工作？我正在进行小批量培训，但在没有小批量的情况下重新使用模型，这似乎没有机会更改输入维度。re：第三个问题，即最后一个问题：事实证明MultiRNNCell是一个包装器，它创建的节点与其包装器对象不同