为什么我的TensorFlow评测时间线显示GPU上的空闲时间？

我在GeForce GTX 1080 GPU上分析MobileNetV2模型（批量大小为20）的推断延迟

TensorFlow时间线显示如下：

---

我注意到“stream:all Compute”行中有相当多的空白，我想这意味着我的GPU并不总是很忙。您认为是什么导致了这种空闲时间？有什么方法可以改善它吗？

它可能正在等待数据所有中间数据都保存在GPU内存中。为什么它要等待数据？如果没有更多的跟踪，很难确定，但GPU也有一个简单的内存缓存层次结构。保存在GPU内存中意味着哪个级别？您如何知道数据保存在GPU内存中？CPU不空闲时，GPU似乎是空闲的。我不是专家，我猜数据是在CPU和GPU之间传输的。