使用TensorFlow进行推理时如何设置批量大小？

如果batch size=1，编写代码很容易，但一张图像的平均时间比batch size为30、40或其他的情况要长。

您能提供更多详细信息吗？不太清楚你在问什么。您是否有代码示例等？例如，我有10000张mnist图像要测试，如果我将batch_size设置为100，这意味着网络的输入为（100,28,28,1），在1080 Ti中总共只需要2.9秒。如果我设置batch_size=1，表示网络的输入为（1,28,28,1），则需要17.8秒。但是如果我用它来实时检测，批量大小只有1。所以我想知道，当批量大小为1时，是否有一些方法可以加快速度。谢谢是的，我想你被卡住了。通过使用较大的批处理，您将获得更高的性能，但会导致延迟。你可以尝试量化你的网络，使单次调用更快。对不起，我不能很好地理解你所说的。我只是想知道，当batch_size=1时，is是否可以与batch_size=100一样快。谢谢答案是：不。顺便说一句，批量大小通常是二的幂。你能提供更多细节吗？不太清楚你在问什么。您是否有代码示例等？例如，我有10000张mnist图像要测试，如果我将batch_size设置为100，这意味着网络的输入为（100,28,28,1），在1080 Ti中总共只需要2.9秒。如果我设置batch_size=1，表示网络的输入为（1,28,28,1），则需要17.8秒。但是如果我用它来实时检测，批量大小只有1。所以我想知道，当批量大小为1时，是否有一些方法可以加快速度。谢谢是的，我想你被卡住了。通过使用较大的批处理，您将获得更高的性能，但会导致延迟。你可以尝试量化你的网络，使单次调用更快。对不起，我不能很好地理解你所说的。我只是想知道，当batch_size=1时，is是否可以与batch_size=100一样快。谢谢答案是：不是。顺便说一句，批量大小通常是2的幂。