Nlp 伯特语句嵌入

我试图为伯特获得句子嵌入，但我不太确定我是否做得很好。。。是的，我知道已经存在像bert这样的工具作为服务，但我想自己做，并了解它是如何工作的

---

假设我想从以下句子的单词嵌入中提取一个句子嵌入。。据我所知，Bert的输出形式为12，seq_lengh，768。我以1768的形式从最后一个编码器层提取每个单词嵌入。我现在的疑问在于从这两个词向量中提取句子。如果我有2768，我应该求和dim=1并得到向量1768吗？或者将这两个单词11536连接起来，然后应用平均值池，得到1768形状的句子向量。我不知道什么是正确的方法是获得这个例子的句子向量是

据我所知，BERT的源代码中有一行注释：

对于分类任务，对应于[CLS]的第一个向量用作句子向量。请注意，这只是因为整个模型经过了微调才有意义

[CLS]由BERT提供，用于句子嵌入，无需对句子中的所有词向量进行任何组合或处理

---

希望有帮助。

据我所知，BERT在其源代码中有一行注释：

对于分类任务，对应于[CLS]的第一个向量用作句子向量。请注意，这只是因为整个模型经过了微调才有意义

[CLS]由BERT提供，用于句子嵌入，无需对句子中的所有词向量进行任何组合或处理

---

希望能有所帮助。

我要么使用Bert作为服务，要么使用他们用于池表示的技术我要么使用Bert作为服务，要么使用他们用于池表示的技术