Nlp 加载fasttext预先训练的德语单词嵌入&x27;s.vec文件抛出内存不足错误

Nlp 加载fasttext预先训练的德语单词嵌入&x27;s.vec文件抛出内存不足错误,nlp,gensim,word-embedding,fasttext,Nlp,Gensim,Word Embedding,Fasttext,我正在使用gensim加载fasttext预先训练的单词嵌入 de_model=keyedVector.load_word2vec_格式('wiki.de\wiki.de.vec') 但这给了我一个记忆错误 有什么方法可以加载它吗?除了在内存更大的机器上工作之外,gensimload\u word2vec\u format()方法有一个limit选项,可以指定要读取的向量数n。仅加载文件的前n个向量 例如,要仅加载前100000个单词: de_model = KeyedVectors.load_

我正在使用gensim加载fasttext预先训练的单词嵌入

de_model=keyedVector.load_word2vec_格式('wiki.de\wiki.de.vec')

但这给了我一个记忆错误


有什么方法可以加载它吗?

除了在内存更大的机器上工作之外,
gensim
load\u word2vec\u format()
方法有一个
limit
选项,可以指定要读取的向量数n。仅加载文件的前n个向量

例如,要仅加载前100000个单词:

de_model = KeyedVectors.load_word2vec_format('wiki.de\wiki.de.vec', limit=100000)
由于这类文件通常先对更频繁的单词进行排序,而较罕见单词的“长尾”往往是较弱的向量,因此许多应用程序不会因为丢弃较罕见的单词而损失太多的功能