Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/.htaccess/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Nlp 使用预先训练的手套向量_Nlp_Spacy - Fatal编程技术网

Nlp 使用预先训练的手套向量

Nlp 使用预先训练的手套向量,nlp,spacy,Nlp,Spacy,我使用的是Python2.7 64位,我想使用手套预先训练的单词向量 spacy中的wikipedia语料库。通过defaut spacy在手套的通用爬网语料库上进行训练。有人可以提供相同的代码片段吗。如果您的向量已经以标准word选项卡向量格式进行训练,您可以使用以下示例代码将其添加到spacy模型: 更有效的方法是使用新的API,它将允许您使用自定义向量创建新的空白模型。请注意,使用不同的向量可能会破坏所有其他管道组件(NER、POS、dependency),因为它们需要现有的向量 with

我使用的是Python2.7 64位,我想使用手套预先训练的单词向量
spacy中的wikipedia语料库。通过defaut spacy在手套的通用爬网语料库上进行训练。有人可以提供相同的代码片段吗。

如果您的向量已经以标准word选项卡向量格式进行训练,您可以使用以下示例代码将其添加到spacy模型:

更有效的方法是使用新的API,它将允许您使用自定义向量创建新的空白模型。请注意,使用不同的向量可能会破坏所有其他管道组件(NER、POS、dependency),因为它们需要现有的向量

with open(vectors_loc, 'rb') as file_:
    header = file_.readline()
    nr_row, nr_dim = header.split()
    nlp.vocab.reset_vectors(width=int(nr_dim))
    for line in file_:
        line = line.rstrip().decode('utf8')
        pieces = line.rsplit(' ', int(nr_dim))
        word = pieces[0]
        vector = numpy.asarray([float(v) for v in pieces[1:]], dtype='f')
        nlp.vocab.set_vector(word, vector)  # add the vectors to the vocab