如何同时使用CUDA代码加速Tensorflow gpu

如何同时使用CUDA代码加速Tensorflow gpu,tensorflow,cuda,Tensorflow,Cuda,我只有一个GPU(GTX 1070,8GB VRAM),我想在同一个GPU上同时使用tensorflow GPU和另一个CUDA代码。 但是,同时使用CUDA代码和tensorflow gpu会将tensorflow gpu的速度降低大约两倍。 当tensorflow gpu和CUDA代码一起使用时,有没有加快速度的解决方案?稍长一点的@talonmies注释: GPU非常棒,但它们的资源仍然有限。任何使用GPU构建的应用程序都会尽力使设备饱和,为其他应用程序留下很少的资源。事实上,优化GPU代

我只有一个GPU(GTX 1070,8GB VRAM),我想在同一个GPU上同时使用tensorflow GPU和另一个CUDA代码。 但是,同时使用CUDA代码和tensorflow gpu会将tensorflow gpu的速度降低大约两倍。
当tensorflow gpu和CUDA代码一起使用时,有没有加快速度的解决方案?

稍长一点的@talonmies注释:

GPU非常棒,但它们的资源仍然有限。任何使用GPU构建的应用程序都会尽力使设备饱和,为其他应用程序留下很少的资源。事实上,优化GPU代码的目标和挑战之一——无论是着色器、CUDA还是CL内核——是确保尽可能高效地使用所有CU

假设TF已经这样做了:当运行另一个GPU密集型应用程序时,或者您正在共享一个已经全速运行的资源时。所以,事情变慢了

有些选择是:

  • 获得第二个或更快的GPU

  • 优化您的CUDA内核以减少需求并简化TF内容。虽然在为GPGPU开发时要始终牢记这一点,但它不太可能帮助解决当前的问题

  • 不要同时运行这些东西。这可能会比您当前的准时间切片情况稍微快一点


  • 一个词的答案是否定的