如何在python中读取大文件(gb)?
我反复听到这个问题。我没有任何实际操作这些场景。 因为我可以学到很多方法/想法来做同样的事情,所以我想理解如何在python中读取大文件(gb)?,python,pandas,csv,Python,Pandas,Csv,我反复听到这个问题。我没有任何实际操作这些场景。 因为我可以学到很多方法/想法来做同样的事情,所以我想理解 1) What would be the best approach ? 2) What would be the efficient way to do this ? 根据我的说法,我会将巨大的文件大小分解为较小的文件(我的意思是,批处理)。 比方说,我有两个文件,其中包含要处理的数据(每个文件排序和未排序顺序)。 当然,读取如此大的文件会导致内存错误(无法根据RAM加载文件) 非常希
1) What would be the best approach ?
2) What would be the efficient way to do this ?
根据我的说法,我会将巨大的文件大小分解为较小的文件(我的意思是,批处理
)。
比方说,我有两个文件,其中包含要处理的数据(每个文件排序
和未排序
顺序)。
当然,读取如此大的文件会导致内存错误(无法根据RAM加载文件)
非常希望收到您的来信。请帮助我。可能重复的@MilanVelebit:会解决这个问题吗?典型的建议是使用,或者如果您愿意,只需使用。
1) How can it be achieved through Python ?
2) Best time saving and efficient method ?
3) Can Python-Pandas achieve this ? If yes, how ?