Api Gunicorn员工是否可以共享Tensorflow模型?

Api Gunicorn员工是否可以共享Tensorflow模型?,api,tensorflow,keras,webserver,production,Api,Tensorflow,Keras,Webserver,Production,我需要在生产中使用一个带有简单API端点的Tensorflow模型。模型应该在进程/工作者/线程之间共享,以避免在内存方面浪费太多资源 我已经尝试过让多个gunicorn工作人员设置--preload选项,并在定义资源之前加载模型,但过了一段时间,我出现了超时错误。模型没有响应。我知道有Tensorflow服务可用于此目的,但问题在于,该模型在部署时仍然不可用,并且ML管道由许多不同的组件组成(Tensorflow模型只是这些组件中的一个)。最终用户(客户)是培训/保存模型的用户。(我使用doc

我需要在生产中使用一个带有简单API端点的Tensorflow模型。模型应该在进程/工作者/线程之间共享,以避免在内存方面浪费太多资源

我已经尝试过让多个gunicorn工作人员设置--preload选项,并在定义资源之前加载模型,但过了一段时间,我出现了超时错误。模型没有响应。我知道有Tensorflow服务可用于此目的,但问题在于,该模型在部署时仍然不可用,并且ML管道由许多不同的组件组成(Tensorflow模型只是这些组件中的一个)。最终用户(客户)是培训/保存模型的用户。(我使用docker)提前谢谢