CUDA是否允许在同一gpu上同时使用多个应用程序？

我有来自NVIDIA的特斯拉K20m GPU卡。在

CUDA 5.0

中，允许在同一GPU上从同一应用程序执行多个进程。CUDA是否允许在同一GPU上同时执行不同的应用程序？

取决于您所说的“同时”是什么意思。如果您的意思是“两个应用程序同时在同一张卡上具有CUDA上下文”，那么是的

---

尽管您可能希望使用以获得全部好处并减少上下文切换。另请参见。

多个应用程序可以在同一GPU上同时运行。也就是说，多个应用程序可以同时拥有CUDA上下文，并启动内核、复制内存等

但是来自不同CUDA上下文的内核不能在同一GPU上同时执行。这意味着，在同一时间段，只有来自单个CUDA上下文的内核可以在GPU上执行。如果内核没有占用整个GPU资源（内存+计算），这可能会导致GPU利用率不足，并且一些资源可能未被使用

MPS通过实际拥有一个具有单个CUDA上下文的服务器来实现这一点，所有客户端进程通过该服务器与GPU设备通信，并最终使用其单个CUDA上下文。这使得从不同（逻辑）CUDA上下文启动的内核之间能够实现实际并发