Python读取大型文件会导致内存崩溃
我正在尝试使用Pandas读取一个大的CSV文件。以下是我正在使用的库的版本: 大熊猫‘0.14.1’ Numpy“1.8.1” CSV文件具有以下特征: 大小:1.9 GB 电话:206074 栏目:9 使用Eclipse运行代码时,出现以下错误:Python读取大型文件会导致内存崩溃,python,csv,memory,pandas,Python,Csv,Memory,Pandas,我正在尝试使用Pandas读取一个大的CSV文件。以下是我正在使用的库的版本: 大熊猫‘0.14.1’ Numpy“1.8.1” CSV文件具有以下特征: 大小:1.9 GB 电话:206074 栏目:9 使用Eclipse运行代码时,出现以下错误: filenameALL = 'C:/[path]/OutputALL.csv' all = pd.read_csv(filenameALL, sep='|', index_col=False, skiprows=[0,1,2], header
filenameALL = 'C:/[path]/OutputALL.csv'
all = pd.read_csv(filenameALL, sep='|', index_col=False, skiprows=[0,1,2], header=None, low_memory=False )
"Console already exited with value: -1073741819 while waiting for an answer."
这是我这边的问题还是熊猫虫?对于任何编程语言,文件读取器都有局限性。打开和读取1.9 GB的文件对计算机来说无疑是一种负担,而且在尝试读取文件时会耗尽内存。这不是你,它是python或pandas。这肯定行不通。无论您的可用内存是多少,windows都无法分配超过2gb的内存。最少使用64位感谢您的快速响应!