Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/tensorflow/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Nlp 为fastText设置字符n-grams的最大长度_Nlp_Nltk_Gensim_Word2vec_Fasttext - Fatal编程技术网

Nlp 为fastText设置字符n-grams的最大长度

Nlp 为fastText设置字符n-grams的最大长度,nlp,nltk,gensim,word2vec,fasttext,Nlp,Nltk,Gensim,Word2vec,Fasttext,我想在这个比较教程的基础上比较word2vec和fasttext模型。 根据这一点,当我们将字符n-grams的最大长度设置为零时,fastText模型的语义准确性会提高,因此fastText开始表现得几乎像word2vec。它忽略了ngrams 但是,我找不到关于如何在加载fastText模型时设置此参数的任何信息。关于如何做到这一点有什么想法吗?参数在训练时设置,然后使用该参数构建模型,并依赖该参数进行解释。因此,您通常不会在加载一个已经训练过的模型时对其进行更改,而且gensim(或原始

我想在这个比较教程的基础上比较word2vec和fasttext模型。

根据这一点,当我们将字符n-grams的最大长度设置为零时,fastText模型的语义准确性会提高,因此fastText开始表现得几乎像word2vec。它忽略了ngrams


但是,我找不到关于如何在加载fastText模型时设置此参数的任何信息。关于如何做到这一点有什么想法吗?

参数在训练时设置,然后使用该参数构建模型,并依赖该参数进行解释。因此,您通常不会在加载一个已经训练过的模型时对其进行更改,而且gensim(或原始FastText)中没有API来更改已经训练过的模型的设置


(通过查看源代码并直接篡改加载的模型状态,您可能能够近似忽略已训练的字符的效果-但这是一种新颖的模式,与您链接的笔记本中评估的无字符训练模式完全不同。它可能会产生有趣或可怕的结果-无法预测在训练时设置参数,然后使用该参数构建模型,并依赖于该参数进行解释。因此,您通常不会在加载已训练的模型时更改该参数,并且gensim(或原始FastText)中没有API更改已训练模型上的设置


(通过查看源代码并直接篡改加载的模型状态,您可能能够近似忽略已训练的字符的效果-但这是一种新颖的模式,与您链接的笔记本中评估的无字符训练模式完全不同。它可能会产生有趣或可怕的结果-无法预测(我不想试一下。)

如果在培训阶段设置,这是有意义的。因此我猜笔记本的作者自己将此参数设置为零,对模型进行了培训。如果没有设置,则可能是已经有在线预培训模型忽略了n-gram。是的,如笔记本本身所示,它正在进行自己的培训,而不是加载y预训练模型。如果在训练阶段设置,这是有意义的。因此我猜笔记本的作者自己训练模型时,将此参数设置为零。如果不是,则可能是已经有在线预训练模型,忽略了n-gram。是的,如笔记本本身所示,它正在进行自己的训练,而不是r而不是加载任何预先训练的模型。