无法使用Python在GPU（Jetson Nano）上运行tflite模型

我有一个量化的tflite模型，我想在Nvidia Jetson Nano上对其进行基准测试。我使用tf.lite.解释器（）方法进行推理。由于CPU和GPU上的推断时间相同，因此该进程似乎不在GPU上运行

有没有办法使用Python在GPU上运行tflite模型

我试图通过设置tf.device（）方法来强制使用GPU，但仍然不起作用。官方文档中有一个叫做GPU加速委托的东西，但我似乎找不到Python的任何东西

with tf.device('/device:GPU:0'):

    interpreter = tf.lite.Interpreter(model_path="model.tflite")

    interpreter.allocate_tensors()

    input_details = interpreter.get_input_details()
    output_details = interpreter.get_output_details()

    input_shape = input_details[0]['shape']
    input_data = np.array(np.random.random_sample(input_shape), dtype=np.uint8)
    interpreter.set_tensor(input_details[0]['index'], input_data)

    start_time = time.time()

    interpreter.invoke()

    elapsed_time = time.time() - start_time
    print(elapsed_time)

    output_data = interpreter.get_tensor(output_details[0]['index'])

---

根据最近的报道，它似乎可以在jetson nano上买到。 但它看起来像一个定制版本，请尝试使用它而不是tensorflow lite

如果你已经安装了它，如果这个版本应该支持GPU的话，可能会要求nvidia开发人员

<>或者您可以用这种方式安装英伟达定制的ToSoFrase.< Python 3.6+JetPack4.4

sudo apt get install libhdf5 serial dev hdf5 tools libhdf5 dev zlib1g dev zip libjpeg8 dev liblapack dev libblas dev gfortran
sudo-apt-get安装python3pip
sudo pip3安装-U pip
sudo pip3安装-U pip testresources setuptools numpy==1.16.1 future==0.17.1 mock==3.0.5 h5py==2.9.0 keras_预处理==1.0.5 keras_应用==1.0.8 gast==0.2.2未来协议pybind11
#TF-2.x
$sudo pip3安装--预--额外索引urlhttps://developer.download.nvidia.com/compute/redist/jp/v44 tensorflow==2.2.0+nv20.8
#TF-1.15
$sudo pip3安装--预--额外索引urlhttps://developer.download.nvidia.com/compute/redist/jp/v44 'tensorflow您的Jetson Nano是否支持OpenCL？
如果确实如此，您可以将OpenCL委托与TFLite一起使用。
TFLite不支持Nvidia GPU，因此
更多的解释会更好。Flite推理库目前不支持Nvidia GPU。因此，您不能在Nvidia Jetson上运行tflite模型。需要将其转换为tensorflow或tensorRT模型以在Jetson上执行