Performance 为什么这种深度学习模型比GPU在CPU上执行更快的推理？

在本文中：“，2016年

在第12页的表1中，列出了2016年神经翻译模型的推理解码时间在CPU上比GPU快近3倍。他们的模型在深度轴上高度平行于GPU

有人有什么见解吗

---

这是否也意味着，一般来说，在GPU上训练时，最好在CPU上执行神经网络的测试步骤？对于仅在1个GPU上训练而不是在多个GPU上训练的模型，这也是真的吗？

他们使用88个CPU核，并将其表示为CPU，而只使用一个GPU。因此，理论峰值性能没有那么大的不同。接下来，数据必须加载到GPU中，这是一种开销，CPU不需要。这两个因素的结合使CPU进程的性能更好。

我几乎将其发布到了数据科学版，但我犹豫了很多，因为这是关于性能的，因此可能更多的是代码问题。谢谢哦，TensorFlow.org特别重定向到StackOverflow，询问有关其框架的问题（这里CTRL+F表示堆栈溢出）：。我想这个问题会留在这里，因为我已经发布了。我也想到了数据科学。我有一半的期望他们可能有一个机器学习子网站。我只是觉得你的问题更可能被严肃的CSci类型的人在一个更专业的论坛上看到。是的，我也希望找到一个关于深度学习或至少是机器学习的堆栈交换网站，但是，好吧。@barry johnson在提到其他网站时，指出@gnat是的，确切地说，我不会这样做是很有帮助的。