如何处理大型Python数据帧

如何处理大型Python数据帧,python,pandas,Python,Pandas,我有一个从600MB文本系统日志文件读取的大数据帧(1.6m行x 20列)。我一块一块地读,可以把整个内容放到一个数据框中 但是我不能在数据帧上做简单的求和,它只是永远挂起 我是否需要拆分和处理数据帧?因为我觉得pandas dataframe非常高效,可以毫不费力地完成这项工作。您应该能够在pandas中轻松处理这项工作。你是怎么算数的?嗨,你说得对。我在数据集中发现的问题是,相关列被读取为对象。所以当我求和的时候,它只是创建了一个长长的字符串,把机器挂在最后。谢谢分享。

我有一个从600MB文本系统日志文件读取的大数据帧(1.6m行x 20列)。我一块一块地读,可以把整个内容放到一个数据框中

但是我不能在数据帧上做简单的求和,它只是永远挂起


我是否需要拆分和处理数据帧?因为我觉得pandas dataframe非常高效,可以毫不费力地完成这项工作。

您应该能够在pandas中轻松处理这项工作。你是怎么算数的?嗨,你说得对。我在数据集中发现的问题是,相关列被读取为对象。所以当我求和的时候,它只是创建了一个长长的字符串,把机器挂在最后。谢谢分享。