Nlp 如何使用BERT获得句子中短语的上下文嵌入?

Nlp 如何使用BERT获得句子中短语的上下文嵌入?,nlp,bert-language-model,Nlp,Bert Language Model,我使用从BERT获得句子嵌入。使用这一点,我可以获得嵌入的句子或短语。例如:我可以嵌入一句话,如“系统不工作,但服务中心没有响应更换”。我还可以嵌入一个短语,如“无响应” 但是,我想在“服务中心系统不工作但更换时无响应”的背景下嵌入“无响应”。任何关于如何获得这一点的建议都会很有帮助。提前谢谢 我之所以这么做,是因为短语“无反应”在不同的句子中有不同的上下文。例如,“无回应”的上下文在以下两句中是不同的: “服务中心收到系统不工作,但更换时没有响应” “我们在患者身上尝试了恢复程序,但没有反应”

我使用从BERT获得句子嵌入。使用这一点,我可以获得嵌入的句子或短语。例如:我可以嵌入一句话,如“系统不工作,但服务中心没有响应更换”。我还可以嵌入一个短语,如“无响应”

但是,我想在“服务中心系统不工作但更换时无响应”的背景下嵌入“无响应”。任何关于如何获得这一点的建议都会很有帮助。提前谢谢

我之所以这么做,是因为短语“无反应”在不同的句子中有不同的上下文。例如,“无回应”的上下文在以下两句中是不同的: “服务中心收到系统不工作,但更换时没有响应”
“我们在患者身上尝试了恢复程序,但没有反应”

伯特每个输入子词返回一个向量,因此您需要获得与您感兴趣的短语对应的向量

通常所称的句子嵌入是指在使用BERT处理句子之前,在句子前面嵌入技术符号
[CLS]
;或上下文子词向量的平均值。因为
[CLS]
向量必须覆盖整个句子,所以不能仅针对子短语获得它,但可以使用该短语子单词嵌入的平均值

您正在使用的软件包,
句子转换器
,有一个非常简单的用户友好API,但我担心它不够强大,无法完成这项工作。我建议使用。这个包允许您查看句子是如何标记的,从而获得相应的向量