在一个GPU上运行两个不同的独立PyTorch程序

我有一个单一的NVIDIA GPU，内存为16GB。我必须运行两个不同的（独立的；也就是说，两个不同的问题：一个是vision类型的任务，另一个是NLP任务）Python程序。代码使用PyTorch编写，两个代码都可以使用GPU

我已经测试过程序1需要大约5GB的GPU内存，其余的都是免费的。如果我运行这两个程序，它会影响模型性能还是会导致任何流程冲突

---

我不知道这是如何工作的，但我可以从经验中看出，这两个程序运行良好（只要组合起来不需要超过16GB的RAM），执行时间应该大致相同

---

然而，计算机视觉通常需要大量IO（主要是读取图像），如果其他任务也需要读取文件，这部分可能会比单独运行两个程序时慢。

我不知道这是如何工作的细节，但根据经验，我可以判断这两个程序都会运行良好（只要它们组合起来不需要超过16GB的RAM），执行时间应该保持大致相同

然而，计算机视觉通常需要大量IO（主要是读取图像），如果其他任务也需要读取文件，这部分可能会比单独运行两个程序时慢。

它应该可以正常工作

在我的一个项目中，我在处理多个模型时遇到了GPU内存不足的问题。加载模型后，我的模型占用了大部分GPU内存。在模型推理过程中，用于数据的内存非常少。正如我们所知，如果您的模型加载到GPU上，那么您也需要将数据加载到GPU上。那么n进行批处理推断（例如一次为模型提供16个图像）整个批处理加载到GPU上。这再次占用更多GPU内存。如果没有足够的GPU内存，程序将崩溃

如果您认为GPU内存不是您的问题，那么一切都应该正常工作。您也不必担心冲突，因为这两个进程将分配自己的GPU内存并独立工作。不会有性能问题。

它应该正常工作

在我的一个项目中，我在处理多个模型时遇到了GPU内存不足的问题。加载模型后，我的模型占用了大部分GPU内存。在模型推理过程中，用于数据的内存非常少。正如我们所知，如果您的模型加载到GPU上，那么您也需要将数据加载到GPU上。那么n进行批处理推断（例如一次为模型提供16个图像）整个批处理加载到GPU上。这再次占用更多GPU内存。如果没有足够的GPU内存，程序将崩溃

如果您认为GPU内存不是您的问题，那么一切都应该正常工作。您也不需要担心冲突，因为这两个进程都将分配自己的GPU内存并独立工作。不会有性能问题