Python 复制张流图

复制TensorFlow图并使其保持最新状态的最佳方法是什么

---

理想情况下，我希望将复制的图形放在另一台设备上（例如，从GPU到CPU），然后不时更新副本。

我将尝试给出一个非常简单的答案，看看一般方法是否与OP所描述的相同：

我将通过tf.train.Saver对象实现它

假设您的权重在变量W1、W2和b1中

mysaver = tf.train.Saver(({'w1': W1, 'w2': W2, 'b1': b1}))

在列车循环中，您可以每n次迭代添加：

saver.save(session_var, 'model1', global_step=step)

然后在加载实例中，在需要时运行：

tf.train.Saver.restore(other_session_object, 'model1')

---

希望这与您提出的解决方案类似。

简短回答：您可能需要（）

---

长答案：

让我们弄清楚这里的设置。我假设你有两个设备，A和B，你在A上训练，在B上运行推理。 您希望定期使用在另一台设备上进行培训期间发现的新参数更新运行推断的设备上的参数。 上面链接的教程是一个很好的起点。它向您展示了

tf.train.Saver

对象是如何工作的，在这里您不需要任何更复杂的东西

以下是一个例子：

import tensorflow as tf

def build_net(graph, device):
  with graph.as_default():
    with graph.device(device):
      # Input placeholders
      inputs = tf.placeholder(tf.float32, [None, 784])
      labels = tf.placeholder(tf.float32, [None, 10])
      # Initialization
      w0 = tf.get_variable('w0', shape=[784,256], initializer=tf.contrib.layers.xavier_initializer())
      w1 = tf.get_variable('w1', shape=[256,256], initializer=tf.contrib.layers.xavier_initializer())
      w2 = tf.get_variable('w2', shape=[256,10], initializer=tf.contrib.layers.xavier_initializer())
      b0 = tf.Variable(tf.zeros([256]))
      b1 = tf.Variable(tf.zeros([256]))
      b2 = tf.Variable(tf.zeros([10]))
      # Inference network
      h1  = tf.nn.relu(tf.matmul(inputs, w0)+b0)
      h2  = tf.nn.relu(tf.matmul(h1,w1)+b1)
      output = tf.nn.softmax(tf.matmul(h2,w2)+b2)
      # Training network
      cross_entropy = tf.reduce_mean(-tf.reduce_sum(labels * tf.log(output), reduction_indices=[1]))
      optimizer = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)    
      # Your checkpoint function
      saver = tf.train.Saver()
      return tf.initialize_all_variables(), inputs, labels, output, optimizer, saver

培训计划的代码：

def programA_main():
  from tensorflow.examples.tutorials.mnist import input_data
  mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
  # Build training network on device A
  graphA = tf.Graph()
  init, inputs, labels, _, training_net, saver = build_net(graphA, '/cpu:0')
  with tf.Session(graph=graphA) as sess:
    sess.run(init)
    for step in xrange(1,10000):
      batch = mnist.train.next_batch(50)
      sess.run(training_net, feed_dict={inputs: batch[0], labels: batch[1]})
      if step%100==0:
        saver.save(sess, '/tmp/graph.checkpoint')
        print 'saved checkpoint'

…以及推理程序的代码：

def programB_main():
  from tensorflow.examples.tutorials.mnist import input_data
  mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
  # Build inference network on device B
  graphB = tf.Graph()
  init, inputs, _, inference_net, _, saver = build_net(graphB, '/cpu:0')
  with tf.Session(graph=graphB) as sess:
    batch = mnist.test.next_batch(50)

    saver.restore(sess, '/tmp/graph.checkpoint')
    print 'loaded checkpoint'
    out = sess.run(inference_net, feed_dict={inputs: batch[0]})
    print out[0]

    import time; time.sleep(2)

    saver.restore(sess, '/tmp/graph.checkpoint')
    print 'loaded checkpoint'
    out = sess.run(inference_net, feed_dict={inputs: batch[0]})
    print out[1]

如果启动训练程序，然后启动推理程序，您将看到推理程序生成两个不同的输出（来自同一输入批次）。这是它拾取训练计划检查点的参数的结果

现在，这个计划显然不是你的终点。我们不做任何真正的同步，您必须决定“周期性”对于检查点意味着什么。但这会让您了解如何将参数从一个网络同步到另一个网络

最后一个警告：这并不意味着这两个网络必然是确定性的。TensorFlow中存在已知的非确定性元素（例如），因此如果需要完全相同的答案，请小心。但这是在多台设备上运行的硬道理

祝你好运

只需执行往返>

tf.Graph

：

将tensorflow导入为tf
def copy_图（图：tf.graph）->tf.graph:
将tf.Graph（）作为\u默认值（）作为复制的\u图形：
graph_def=graph.as_graph_def（add_shapes=True）
tf.graph_util.import_graph_def（graph_def）
返回图

为什么不并行构建多个图形，而不是复制一个现有的图形？这个问题相当模糊。您是否要求在现场更新TensorFlow

图形

数据结构？或者您正在询问如何在不改变结构的情况下从一个图形更新另一个图形中的参数？或者这与神经网络的版本控制有关（这是一个更广泛的软件工程问题）？@rdadolf是第二个问题。我只需要在不同的机器上保存同一型号的副本，并随时同步参数。@这样也行。但我仍然需要确保它们具有相同的初始值，并且它们将保持同步。