Tensorflow服务：为每个型号使用一部分GPU内存

我有一个GPU可供部署，但需要部署多个型号。我不想将完整的GPU内存分配给第一个部署的模型，因为这样我就无法部署后续的模型。在训练时，这可以使用

gpu\U内存\U分数

参数进行控制。 我正在使用以下命令部署我的模型-

tensorflow\u model\u server--port=9000--model\u name=--model\u base\u path=

是否可以设置一个标志来控制gpu内存分配

---

谢谢

我刚刚为配置gpu内存部分添加了一个标志。

---

新的TF服务允许在此设置标志

每个进程\u gpu\u内存\u分数

是否有帮助？@Imran否，我的查询是关于tensorflow服务内部的内存分配。您可以在此处找到一个打开的错误。太长，读不下去了这似乎没有一个选项，很明显，您必须手动更改该选项并重新编译二进制文件，如我链接的帖子中所述。