TensorFlow目标检测提高推理速度

TensorFlow目标检测提高推理速度,tensorflow,gpu,tensorflow2.0,object-detection,object-detection-api,Tensorflow,Gpu,Tensorflow2.0,Object Detection,Object Detection Api,我在自定义模型中使用Tensorflow(2.0)对象检测API。我想提高我的推理速度,目前是2 FPS。 实际上我有两个问题 我有一个Nvidia RTX 6000(24 GB)GPU。我可以使用4 gb gpu内存运行我的型号,我可以使用以下代码拆分我的gpu并同时运行5-6个型号: gpus=tf.config.experiorative.list_物理设备('GPU')tf.config.experiorative.set_虚拟设备配置(GPU[0],[tf.config.experio

我在自定义模型中使用Tensorflow(2.0)对象检测API。我想提高我的推理速度,目前是2 FPS。 实际上我有两个问题

  • 我有一个Nvidia RTX 6000(24 GB)GPU。我可以使用4 gb gpu内存运行我的型号,我可以使用以下代码拆分我的gpu并同时运行5-6个型号:
  • gpus=tf.config.experiorative.list_物理设备('GPU')tf.config.experiorative.set_虚拟设备配置(GPU[0],[tf.config.experiorative.VirtualDeviceConfiguration(内存限制=4000)])

    我可以并行使用这些4GB gpu内存并提高推理速度吗?(24/4=6--->x6更快?)

  • 我可以并行运行多个GPU并提高推理速度吗