Python 如何在不同芹菜作业人员中共享tensorflow模型

我正在做一些NLP的工作，有由Tensorflow培训的模型。我提供了一些API来使用这些模型完成word cut，并通过芹菜发送请求

情况是：

芹菜将任务分派给不同的工作人员（大约4-5人），因此每个工作人员都必须加载上述模型，因此内存将被占用很多。

那么，有什么方法可以让工人们分享这些模型吗？我实际上不知道芹菜工人的潜在机制

---

谢谢

您可以看看哪一个作为gRPC API服务于您的模型。它支持听起来像您正在尝试做的事情。如果出于某种原因确实需要芹菜（例如在后台运行这些任务），您可以从芹菜任务调用Tensorflow服务API

您可以看看哪个模型作为GRPCAPI服务。它支持听起来像您正在尝试做的事情。如果您出于某种原因确实需要芹菜（例如在后台运行这些任务），您可以从芹菜任务调用Tensorflow服务API。@geniass谢谢您的回答！！实际上，我将考虑使用TysFooad服务于未来的模型部署。异步芹菜任务在客户端使用，因此我在其中创建了一个singleton类和一个函数，用于在服务器上加载模型，以确保这些模型只能加载一次。这是可行的，但我不确定解决方案是否足够好。我将尝试确定性能。再次感谢。是的，我一直在做同样的事情来服务火炬模型，但由于这不支持自动批处理，我非常肯定你将能够获得更好的性能与TF服务。我会回答我的评论，这样你就可以结束这个问题了。@aforwardz你是否为tensorflow服务设置了一个服务器，并让芹菜工人打电话进行推断？我试图将现有的基础设施（芹菜）与tensorflow服务相结合，因为对于我来说，使用TF服务，我们可以避免在模型预加载（高内存使用率）或加载和销毁模型之间进行权衡，以便在每个芹菜工人中处理多个模型。我试图将我的模型部署到TF服务中。我翻阅了这份文件，它似乎已经完成了我想要的东西。谢谢兄弟。