Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/rust/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 如何让多个用户同时使用同一个系统运行tensorflow程序？_Python_Memory_Tensorflow_Memory Management - Fatal编程技术网
Fatal编程技术网
  • python/
  • Python 如何让多个用户同时使用同一个系统运行tensorflow程序？

Python 如何让多个用户同时使用同一个系统运行tensorflow程序？

python memory tensorflow memory-management

Python 如何让多个用户同时使用同一个系统运行tensorflow程序？,python,memory,tensorflow,memory-management,Python,Memory,Tensorflow,Memory Management,我需要建立一个系统，要求多个用户在同一个系统上运行他们的tensorflow程序。为了测试这一点，我尝试运行同一程序的两个实例。第一个实例正在运行，但第二个实例出现CUDA\u错误\u内存不足错误 但我可以看到GPU没有得到充分利用。如何通过更好地分配内存来解决此问题？tensorflow框架中是否有任何内置方式允许我将其配置为可以根据同时运行的程序数量动态地将RAM分配给实例/用户？或者，如果不可能，是否有任何调度器可以以序列化方式向用户调度作业？或者，有没有办法让GPU中未使用的空间暂时用

我需要建立一个系统，要求多个用户在同一个系统上运行他们的tensorflow程序。为了测试这一点，我尝试运行同一程序的两个实例。第一个实例正在运行，但第二个实例出现
CUDA\u错误\u内存不足
错误




但我可以看到GPU没有得到充分利用。如何通过更好地分配内存来解决此问题？tensorflow框架中是否有任何内置方式允许我将其配置为可以根据同时运行的程序数量动态地将RAM分配给实例/用户？或者，如果不可能，是否有任何调度器可以以序列化方式向用户调度作业？或者，有没有办法让GPU中未使用的空间暂时用作内存
 我不知道是否有任何方法可以动态分配内存，但您可以通过为会话设置GPU选项来阻止tensorflow自动分配几乎所有GPU内存


gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=x)


通常可以在不增加任何训练时间的情况下大大减少分配的gpu内存

以这种方式修复内存后，您可以使用最常见的网格引擎来调度作业。甲骨文一号肯定有效