Python 张量流加速预测

关于预测性能，我有一个问题。我所做的是在Python循环中反复调用

test\u predictions

op，并将其所有返回值放入列表中。代码如下所示：

predictions = []
for _ in trange(args.num_batches):
    predictions.extend(sess.run(model.test_predictions))

当我在超过2/3的时间里查看性能统计数据时，我的GPU卡处于空闲状态，可能是因为Python和TF代码之间不断切换。我不能使批处理大小变大，因为它不适合内存。我可以实现更好的解决方案吗？

没有“在Python和TF代码之间切换”这样的事情。如果GPU空闲很多，这意味着要获取数据（图像？）以运行预测需要很长时间，GPU必须等待数据到达

尝试实现预取

或者，如果您有足够的内存，只需一次读入所有图像，并以这种方式为您的网络提供信息