分布式tensorflow在何处保存数据

分布式tensorflow在何处保存数据,tensorflow,distributed,Tensorflow,Distributed,我使用3台机器进行分布式tensorflow(2个工人和1个ps)。它们都位于同一簇上。我已将数据放在worker 1上。我的模型工作得很好,但它只使用ps和1个工人。 我的问题是如何放置数据,以便我的所有员工都可以访问它?我应该像hdfs一样把它放在共享内存中吗 tf.reset\u default\u graph() 如果FLAGS.job_name==“ps”: server.join() elif FLAGS.job_name==“worker”: #图间复制 使用tf.device(

我使用3台机器进行分布式tensorflow(2个工人和1个ps)。它们都位于同一簇上。我已将数据放在worker 1上。我的模型工作得很好,但它只使用ps和1个工人。 我的问题是如何放置数据,以便我的所有员工都可以访问它?我应该像hdfs一样把它放在共享内存中吗

tf.reset\u default\u graph()
如果FLAGS.job_name==“ps”:
server.join()
elif FLAGS.job_name==“worker”:
#图间复制
使用tf.device(tf.train.replica\u device\u setter(worker\u device=“/job:worker/task:%d”%FLAGS.task\u index,cluster=cluster)):
##这里定义我的模型、成本、优化器
sv=tf.train.Supervisor(is_chief=(FLAGS.task_index==0),全局_step=global_step,初始_op=init_op)
使用sv.prepare_或_wait_for_会话(server.target)作为sess:
对于范围内的历元(训练历元):
cost_val=sess.run([cost],feed_dict={X:data})

在这里找到了一些相关信息: [1]
似乎我们需要创建TFRecords。

在此处找到一些相关信息: [1] 似乎我们需要创建TFR记录