加速tensorflow 2.0推理?

加速tensorflow 2.0推理?,tensorflow,tensorflow2.0,Tensorflow,Tensorflow2.0,我在这里发布了一篇优秀的帖子: 但我想知道是否还有其他途径可以加速tensorflow 2.0模型的推理 我注意到,对于一个简单的模型,一次调用就有点过头了。例如,调用一个单行预测可能是.5毫秒,而2500行预测大约是50毫秒。因此,使用2500x数据,这只会比原来长100倍 有没有一个很好的方法可以从cython调用这些,或者简单地使用RT?这是一个较小的网络,在CPU上应该很快

我在这里发布了一篇优秀的帖子:

但我想知道是否还有其他途径可以加速tensorflow 2.0模型的推理

我注意到,对于一个简单的模型,一次调用就有点过头了。例如,调用一个单行预测可能是.5毫秒,而2500行预测大约是50毫秒。因此,使用2500x数据,这只会比原来长100倍

有没有一个很好的方法可以从cython调用这些,或者简单地使用RT?这是一个较小的网络,在CPU上应该很快