将word2vc数据文件读入python时的MemoryError
我正在尝试在Windows7中使用word2vec。我有24GB的RAM和i7处理器,我使用的是64位python。我正试图按照Radim的教程进行操作。我想访问word2vec原始页面提供的google 30亿文件中的向量。 当我运行线路时:将word2vc数据文件读入python时的MemoryError,python,memory,word2vec,Python,Memory,Word2vec,我正在尝试在Windows7中使用word2vec。我有24GB的RAM和i7处理器,我使用的是64位python。我正试图按照Radim的教程进行操作。我想访问word2vec原始页面提供的google 30亿文件中的向量。 当我运行线路时: model = Word2Vec.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True) 我得到以下错误: Traceback (most recent call
model = Word2Vec.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
我得到以下错误:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\Python27\lib\site-packages\gensim-0.10.1-py2.7.egg\gensim\models\word2vec.py", line 536, in load_word2vec_format
result.syn0 = zeros((vocab_size, layer1_size), dtype=REAL)
MemoryError
我不知道如何解决这个问题,因为文件只有1.3GB,我有足够的可用内存空间。32位或64位Python?32位Python最多只能访问4GB内存。它是64位Python。我想知道vocab_大小和layer1_大小有多大。如果它们都是数百万,即使有24GB的内存,也很容易超过你的可用内存。layer1_大小=300,vocab_大小应该最大为200K,因为它最多是英语词汇的大小。是的,可能只有480MB…嗯,这有点奇怪。