Tensorflow在iOS上运行缓慢
我正在运行由tensorflow分发的,速度非常慢:在iPhone6上运行该模型时,每次推理需要4-5秒 据我所知,这是GoogleNet模型,它是轻量级的,iOS代码将其第一个输出层拉出来,大约是整个模型的一半大小。我在macbook上用python接口运行了相同的模型,每次推理需要30毫秒Tensorflow在iOS上运行缓慢,ios,mobile,tensorflow,Ios,Mobile,Tensorflow,我正在运行由tensorflow分发的,速度非常慢:在iPhone6上运行该模型时,每次推理需要4-5秒 据我所知,这是GoogleNet模型,它是轻量级的,iOS代码将其第一个输出层拉出来,大约是整个模型的一半大小。我在macbook上用python接口运行了相同的模型,每次推理需要30毫秒 所以我想知道为什么在iOS上运行相同型号的电脑比在macbook上慢150倍。似乎我做了一些明显的错误。这还没有很好的文档记录,但是您需要将优化标志传递给编译脚本,以获得库的快速版本。下面是一个例子: t
所以我想知道为什么在iOS上运行相同型号的电脑比在macbook上慢150倍。似乎我做了一些明显的错误。这还没有很好的文档记录,但是您需要将优化标志传递给编译脚本,以获得库的快速版本。下面是一个例子:
tensorflow/contrib/makefile/compile\u ios\u tensorflow.sh“-Os”
这应该会大大提高你的速度,非正式地说,我看到GoogLeNet在5S上运行了一秒钟或更短时间。在build_all_ios.sh中,有一行是#构建ios TensorFlow库。tensorflow/contrib/makefile/compile_ios_tensorflow.sh“-O3”。你的标志是“-Os”,这是打字错误吗?-O3在速度和大小上都更好。另外,build_all_ios.sh已经将-O3传递给compile_ios_tensorflow.sh调用