Python:内存错误

我有一个相当大的数据集，大约5287657，大约有15列。我试图创建一个数据透视表，当我试图创建数据帧时，它给了我一个

MemoryError

以下是我看到的eror消息：

File "C:\Python27\lib\site-packages\pandas\core\frame.py", line 411, in __init__
  arrays, columns = _to_arrays(data, columns, dtype=dtype)
File "C:\Python27\lib\site-packages\pandas\core\frame.py", line 5472, in _to_arrays
  dtype=dtype)
File "C:\Python27\lib\site-packages\pandas\core\frame.py", line 5500, in _list_to_arrays
  coerce_float=coerce_float)
File "C:\Python27\lib\site-packages\pandas\core\frame.py", line 5555, in _convert_object_array
  for arr in content]
File "inference.pyx", line 393, in pandas.lib.maybe_convert_objects (pandas\lib.c:32941)
MemoryError

在内存错误发生之前，我们可以使用Pandas操作的数据是否有任何限制？

用于创建数据帧，它已针对此任务进行了大量优化。

一种方法是。

---

另一种方法是加载数据的随机样本——我写了一篇关于这一点的短文——

您需要所有列吗？使用read_csv的

usecols=

选项，您只能读入您需要的内容。@monkut:我需要所有的列，实际上每列有10个值，所以从技术上讲，我们大约有150个列。我前几天刚看了这篇关于pandas服务器日志分析的演讲，他在演讲中提到关闭垃圾收集。对我来说似乎有点可疑，但它可能会帮助你@monkut：我会试试看是否有帮助。我想在视频的最后Wes建议这主要是因为read_csv中使用了定制的日期解析器，我不认为这对pivot有什么帮助。在pivot之前python使用了多少内存？当我尝试使用read_csv方法时，程序崩溃，当我看到错误日志时，它说错误在解析器模块中。此外，我不确定是否可以使用read_csv方法，因为我正在读取多个文件，并且我正在基于所有文件中的数据旋转数据。“我的列名是文件名。@buggsbunny4但你在透视之前崩溃了吗？”？在您将文件读入字典进行转换的时候（这两个步骤是内存效率低下的部分），我建议首先创建一个数据帧列表（然后关联到一个df）。