Nlp 使用词嵌入生成同义词或类似词

Nlp 使用词嵌入生成同义词或类似词,nlp,word-embedding,Nlp,Word Embedding,我想使用BERT单词嵌入生成同义词或类似单词。 我开始用伯特做这个。 对于以后的软件集成,它必须在JAVA中完成,所以我选择了easy bert (). 似乎我可以通过这种方式获得单词嵌入: try(Bert bert = Bert.load(new File("com/robrua/nlp/easy-bert/bert-uncased-L-12-H-768-A-12"))) { float[][] embedding = bert.embedTokens("A sequence");

我想使用BERT单词嵌入生成同义词或类似单词。 我开始用伯特做这个。 对于以后的软件集成,它必须在JAVA中完成,所以我选择了easy bert ().

似乎我可以通过这种方式获得单词嵌入:

try(Bert bert = Bert.load(new File("com/robrua/nlp/easy-bert/bert-uncased-L-12-H-768-A-12"))) {
    float[][] embedding = bert.embedTokens("A sequence");
    float[][][] embeddings = bert.embedTokens("Multiple", "Sequences");

}
你知道我如何从这些单词嵌入中得到相似的单词吗


谢谢你的帮助

这个主题的类似任务(词汇替换)属于LS07和LS14。 一位研究人员使用BERT在这些基准中实现了SOTA。 你会对这篇文章感兴趣的。

作者如下图所示

将辍学应用于目标单词的嵌入以进行部分掩蔽 这个词,允许伯特平衡地考虑目标 提出替代候选词的词的语义和上下文,以及 然后根据候选人的替代影响对候选人进行验证 关于句子的整体语境化表达。”


我不知道如何重现相同的结果,因为实现不对公众开放。但这里有一个提示-嵌入退出可以用于生成替代候选项。

你找到一种适合你的方法了吗?我对类似的事情感兴趣。