Tensorflow 张量流要求

我想在生产服务器上部署tensorflow。我预计大约有200个并发用户。我将使用解析器和一些我自己的神经网络深度学习模型。我想知道的峰值内存和cpu使用率相同

感谢您的帮助。

尝试一个简单（但非常多变）的猜测：

如果你谈论深度学习，我推断你至少谈论了3层或更多层，包括一些CNN和可能的RNN

如果您使用的是简单的2D或3D输入，但体系结构复杂，可以肯定地说，您的瓶颈将在CPU上，因此需要在GPU上实现算法

您还需要准备为任意数量的客户机进行扩展，因此从一开始，扩展机制就非常有用

此外，您还需要知道如何处理工作负载，是否需要实时服务，或者是否需要批处理队列？这极大地改变了需求

一旦你能弄清楚这一点，也许还有其他细节，你就可以改进你的估计

---

致以最诚挚的问候。

对于内存，它取决于三个因素：

• 图形大小
• 图的批处理大小
• 传入请求的队列大小

在这三个因素中，批处理大小可能影响最大，因为图的内存是：图大小x批处理大小

---

关于CPU，我建议您使用图形处理器。您可以进行一些测试，并计算每秒可以使用图形和所选批次大小进行的推断次数。Tensorflow服务实现得很好，可以很好地处理并发性，并且您将获得图形速度

对Tensorflow的要求几乎完全由您运行的特定模型决定。如果没有这些模型的细节，就不可能猜测需求。