Tensorflow Lite转换器中的INT8和UINT8量化
我尝试使用Tensorflow Lite基准测试工具在华为P40 PRO上运行FC4模型。 为了获得更好的性能，我在转换模型时将其量化为INT8。使用NNAPI时，NPU似乎不支持它。 我试图用以下几行代码对UINT8中的模型进行量化（很难找到如何实现的信息）： （我不在乎这里的输入数据，只是为了快速尝试） 我能够让它在NPU上的设备上运行 考虑到在这里（）的文档中只提到INT8量化，使用UINT8量化是一个好主意吗 我还注意到这里提供的模型（）在UINT8中。 那么最好的选择是什么呢？INT8还是UINT8Tensorflow Lite转换器中的INT8和UINT8量化,tensorflow,Tensorflow,我尝试使用Tensorflow Lite基准测试工具在华为P40 PRO上运行FC4模型。 为了获得更好的性能，我在转换模型时将其量化为INT8。使用NNAPI时，NPU似乎不支持它。 我试图用以下几行代码对UINT8中的模型进行量化（很难找到如何实现的信息）： （我不在乎这里的输入数据，只是为了快速尝试） 我能够让它在NPU上的设备上运行 考虑到在这里（）的文档中只提到INT8量化，使用UINT8量化是一个好主意吗 我还注意到这里提供的模型（）在UINT8中。 那么最好的选择是什么呢？INT8
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS]
converter.inference_type = tf.uint8
input_arrays = converter.get_input_arrays()
converter.quantized_input_stats = {input_arrays[0] : (128, 1)}
converter.inference_input_type = tf.uint8 # or tf.uint8
converter.default_ranges_stats = (0,1)