Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/307.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何在python中读取大文件(gb)?_Python_Pandas_Csv - Fatal编程技术网

如何在python中读取大文件(gb)?

如何在python中读取大文件(gb)?,python,pandas,csv,Python,Pandas,Csv,我反复听到这个问题。我没有任何实际操作这些场景。 因为我可以学到很多方法/想法来做同样的事情,所以我想理解 1) What would be the best approach ? 2) What would be the efficient way to do this ? 根据我的说法,我会将巨大的文件大小分解为较小的文件(我的意思是,批处理)。 比方说,我有两个文件,其中包含要处理的数据(每个文件排序和未排序顺序)。 当然,读取如此大的文件会导致内存错误(无法根据RAM加载文件) 非常希

我反复听到这个问题。我没有任何实际操作这些场景。 因为我可以学到很多方法/想法来做同样的事情,所以我想理解

1) What would be the best approach ?
2) What would be the efficient way to do this ?
根据我的说法,我会将巨大的文件大小分解为较小的文件(我的意思是,
批处理
)。 比方说,我有两个文件,其中包含要处理的数据(每个文件
排序
未排序
顺序)。 当然,读取如此大的文件会导致内存错误(无法根据RAM加载文件)

非常希望收到您的来信。请帮助我。

可能重复的@MilanVelebit:会解决这个问题吗?典型的建议是使用,或者如果您愿意,只需使用。
1) How can it be achieved through Python ?
2) Best time saving and efficient method ?
3) Can Python-Pandas achieve this ? If yes, how ?