Memory management 熊猫读取csv内部内存使用率

Memory management 熊猫读取csv内部内存使用率,memory-management,pandas,Memory Management,Pandas,我有一个320 MB,逗号分隔的csv文件。 我用 pd.read_csv(loggerfile, header = 2) 我有8 GB的Ram 5是免费的,这怎么可能抛出错误 File "C:\Users\me\AppData\Local\Continuum\Anaconda\lib\site-packages\pandas\io\parsers.py", line 443, in parser_f return _read(filepath_or_buffer, k

我有一个320 MB,逗号分隔的csv文件。 我用

pd.read_csv(loggerfile, header = 2)      
我有8 GB的Ram 5是免费的,这怎么可能抛出错误

  File "C:\Users\me\AppData\Local\Continuum\Anaconda\lib\site-packages\pandas\io\parsers.py", line 443, in parser_f
    return _read(filepath_or_buffer, kwds)
  File "C:\Users\me\AppData\Local\Continuum\Anaconda\lib\site-packages\pandas\io\parsers.py", line 235, in _read
    return parser.read()
  File "C:\Users\me\AppData\Local\Continuum\Anaconda\lib\site-packages\pandas\io\parsers.py", line 686, in read
    ret = self._engine.read(nrows)
  File "C:\Users\me\AppData\Local\Continuum\Anaconda\lib\site-packages\pandas\io\parsers.py", line 1130, in read
    data = self._reader.read(nrows)
  File "parser.pyx", line 727, in pandas.parser.TextReader.read (pandas\parser.c:7146)
  File "parser.pyx", line 777, in pandas.parser.TextReader._read_low_memory (pandas\parser.c:7725)
  File "parser.pyx", line 1788, in pandas.parser._concatenate_chunks (pandas\parser.c:21033)
MemoryError
编辑:

Windows 7企业版64位


Anaconda 2.0.1 x86此副本:。Windows在32位python上只能访问大约1gb的内存总量,并且必须是连续的。read_csv使用2倍的最终内存,这不是文件大小的简单映射。内存很容易耗尽。64位没有类似的问题。因此我确实需要64位Anaconda,但不推荐使用64位Windows?您有64位Windows Enterprise 64位,所以只需安装64位Anaconda即可。安装64位python。是的,无论如何我需要一个64位Windows,只是想知道错误来自哪个部分。不知道你现在甚至可以有一个32位Windows。