Python 在推理服务中使用tf.Session时是线程安全的吗?

Python 在推理服务中使用tf.Session时是线程安全的吗?,python,multithreading,tensorflow,tensorflow-serving,Python,Multithreading,Tensorflow,Tensorflow Serving,现在我们已经使用TensorFlow来训练和导出模型。我们可以用这个模型实现推理服务,就像tensorflow/service那样 我有一个关于tf.Session对象是否是线程安全的问题。如果是真的,我们可以在启动后初始化对象,并使用singleton对象来处理并发请求。对于来自多个线程的调用,tf.Session对象是线程安全的 在TensorFlow 0.10之前,图形修改不是线程安全的。这在0.10版本中已修复,因此您可以在调用Session.run()的同时将节点添加到图形中,尽管出于

现在我们已经使用TensorFlow来训练和导出模型。我们可以用这个模型实现推理服务,就像
tensorflow/service
那样


我有一个关于
tf.Session
对象是否是线程安全的问题。如果是真的,我们可以在启动后初始化对象,并使用singleton对象来处理并发请求。

对于来自多个线程的调用,
tf.Session
对象是线程安全的


在TensorFlow 0.10之前,图形修改不是线程安全的。这在0.10版本中已修复,因此您可以在调用
Session.run()
的同时将节点添加到图形中,尽管出于性能原因不建议这样做;相反,建议在使用来自多个线程的会话之前调用,以防止意外内存泄漏。

太好了。谢谢。是否有必要将此添加到文档中?任何一个使用TensorFlow的人都可以为他们的模型实现推理服务,以正确的方式实现这一点很重要。能否提供一个使用Keras的最小示例。