Nlp 在Sagemaker中不同管道模型之间共享繁重的预处理模型_Nlp_Amazon Sagemaker

Nlp 在Sagemaker中不同管道模型之间共享繁重的预处理模型

nlp

Nlp 在Sagemaker中不同管道模型之间共享繁重的预处理模型,nlp,amazon-sagemaker,Nlp,Amazon Sagemaker,我们目前正在使用Sagemaker进行试验，以部署在同一文档嵌入“模型”之上构建的各种轻量级分类模型（它可以是基于转换器的体系结构，如BERT或Word2Vec向量的平均值）。我们可以有几十个这样的产品投入生产。考虑到嵌入砖块的大小，部署数十个用于推断的砖块将非常昂贵一个想法是将它们部署为管道模型，其中管道将[embedder\u model，classifier\u i]在多模型端点中。然而，根据我们的理解，这也会在内存中多次加载embedder\u模型，从而导致抑制成本有没有一种方法可

我们目前正在使用Sagemaker进行试验，以部署在同一文档嵌入“模型”之上构建的各种轻量级分类模型（它可以是基于转换器的体系结构，如BERT或Word2Vec向量的平均值）。我们可以有几十个这样的产品投入生产。考虑到嵌入砖块的大小，部署数十个用于推断的砖块将非常昂贵

一个想法是将它们部署为

管道模型

，其中管道将

[embedder\u model，classifier\u i]

在多模型端点中。然而，根据我们的理解，这也会在内存中多次加载

embedder\u模型

，从而导致抑制成本

有没有一种方法可以在许多轻型模型之间共享重型预处理模型？理想情况下，我们希望避免在另一个端点后面部署预处理模型，以便在将其发送到多模型端点之前获得嵌入，从而避免不必要的延迟

如有要求，我将乐意分享更多细节

谢谢大家!