Nlp 使用预先训练的手套向量
我使用的是Python2.7 64位,我想使用手套预先训练的单词向量Nlp 使用预先训练的手套向量,nlp,spacy,Nlp,Spacy,我使用的是Python2.7 64位,我想使用手套预先训练的单词向量 spacy中的wikipedia语料库。通过defaut spacy在手套的通用爬网语料库上进行训练。有人可以提供相同的代码片段吗。如果您的向量已经以标准word选项卡向量格式进行训练,您可以使用以下示例代码将其添加到spacy模型: 更有效的方法是使用新的API,它将允许您使用自定义向量创建新的空白模型。请注意,使用不同的向量可能会破坏所有其他管道组件(NER、POS、dependency),因为它们需要现有的向量 with
spacy中的wikipedia语料库。通过defaut spacy在手套的通用爬网语料库上进行训练。有人可以提供相同的代码片段吗。如果您的向量已经以标准word选项卡向量格式进行训练,您可以使用以下示例代码将其添加到spacy模型: 更有效的方法是使用新的API,它将允许您使用自定义向量创建新的空白模型。请注意,使用不同的向量可能会破坏所有其他管道组件(NER、POS、dependency),因为它们需要现有的向量
with open(vectors_loc, 'rb') as file_:
header = file_.readline()
nr_row, nr_dim = header.split()
nlp.vocab.reset_vectors(width=int(nr_dim))
for line in file_:
line = line.rstrip().decode('utf8')
pieces = line.rsplit(' ', int(nr_dim))
word = pieces[0]
vector = numpy.asarray([float(v) for v in pieces[1:]], dtype='f')
nlp.vocab.set_vector(word, vector) # add the vectors to the vocab