Nlp Word2Vec-向向量表示添加约束

Nlp Word2Vec-向向量表示添加约束,nlp,stanford-nlp,word2vec,Nlp,Stanford Nlp,Word2vec,我正在尝试将预先训练好的Google News word2vec模型应用于我的特定领域。对于我所关注的领域,已知某些单词彼此相似,因此在理想世界中,这些单词的Word2Vec表示应该代表这一点。我知道我可以在特定领域数据的语料库上训练预先训练的模型来更新向量 然而,如果我确实知道某些单词非常相似,应该放在一起,那么有没有办法将该约束合并到word2vec模型中?从数学上讲,我想在word2vec的损失函数中添加一个术语,如果我知道两个相似的函数在向量空间中的位置不接近,则会产生惩罚。有没有人对如

我正在尝试将预先训练好的Google News word2vec模型应用于我的特定领域。对于我所关注的领域,已知某些单词彼此相似,因此在理想世界中,这些单词的Word2Vec表示应该代表这一点。我知道我可以在特定领域数据的语料库上训练预先训练的模型来更新向量


然而,如果我确实知道某些单词非常相似,应该放在一起,那么有没有办法将该约束合并到word2vec模型中?从数学上讲,我想在word2vec的损失函数中添加一个术语,如果我知道两个相似的函数在向量空间中的位置不接近,则会产生惩罚。有没有人对如何实现这一点提出建议?这是否需要我解包word2vec模型,或者我是否有可能在损失函数中添加额外的术语?

一种方法是使用预先培训过的Google News word2vec并使用此“改装”工具:

法鲁基、马纳尔、杰西·道奇、苏杰·乔哈尔、克里斯·戴尔、爱德华德·霍维和诺亚·A·史密斯。“将词向量改造为语义词典”,《arXiv预印本》arXiv:1411.4166(2014)

本文提出了一种利用语义词典中的关系信息来细化向量空间表示的方法,该方法鼓励链接词具有相似的向量表示,并且不假设输入向量是如何构造的


该代码可在上获得,并且使用简单(我个人使用过)。

谢谢Franck。这很有帮助。快速跟进:我尝试使用您共享的github链接上的代码,但似乎遇到了属性错误。您最近是否使用过它,以便能够分享如何解决这一问题的指导?“AttributeError:'NoneType'对象没有属性'endswith'@Ali您试过运行他们在中给出的示例吗?如果是这样的话,您可能想尝试Python2.7,也许它在Python3上不起作用。我尝试在Python3上运行这些示例,但无法使它们起作用(遇到了我上面提到的错误)。我将尝试python 2.7。非常感谢。