Python 分析80GB文件中仅32GB内存的巨大数据集
我有非常大的文本文件（大约80G）。该文件只包含数字（整数+浮点数），有20列。现在我要分析每一列。通过分析，我的意思是，我必须对每一列做一些基本的计算，比如找到平均值，绘制直方图，检查条件是否满足等等。我正在阅读如下文件Python 分析80GB文件中仅32GB内存的巨大数据集,python,arrays,plot,Python,Arrays,Plot,我有非常大的文本文件（大约80G）。该文件只包含数字（整数+浮点数），有20列。现在我要分析每一列。通过分析，我的意思是，我必须对每一列做一些基本的计算，比如找到平均值，绘制直方图，检查条件是否满足等等。我正在阅读如下文件 with open(filename) as original_file: all_rows = [[float(digit) for digit in line.split()] for line in original_file] all_rows
with open(filename) as original_file:
all_rows = [[float(digit) for digit in line.split()] for line in original_file]
all_rows = np.asarray(all_rows)
pre_name = "split_file"
for k in range(11): #There are 10 files with almost 8G each
filename = pre_name+str(k).zfill(3) #My files are in form "split_file000, split_file001 ..."
with open(filename) as original_file:
all_rows = [[float(digit) for digit in line.split()] for line in original_file]
all_rows = np.asarray(all_rows)
#Some analysis here
plt.hist(all_rows[:,8],100) #Plotting histogram for 9th Column
all_rows = None
我已经在一堆较小的文件上测试了上述代码，效果很好。然而，当我在大文件上使用时，又出现了同样的问题。有什么建议吗？还有其他更干净的方法吗？对于这样长的操作（当数据不适合内存时），使用诸如dask（）之类的库，特别是
dask.dataframe.read_csv-
<>你应该考虑用进行计算。
在计算机科学中，在线算法是一种能够以串行方式逐段处理输入的算法，即按照输入到算法的顺序处理输入，而不必从一开始就提供整个输入
通过这种方式，可以以恒定的内存复杂度计算并使用预先指定的存储箱
- 您应该将数据放入适当的数据库，并利用该数据库系统的统计和数据处理功能，例如，和
随机链接：
- 您应该将数据放入适当的数据库，并利用该数据库系统的统计和数据处理功能，例如，和
随机链接：
- 我想到了两种选择：
-
<>你应该考虑用进行计算。
在计算机科学中，在线算法是一种能够以串行方式逐段处理输入的算法，即按照输入到算法的顺序处理输入，而不必从一开始就提供整个输入
通过这种方式，可以以恒定的内存复杂度计算并使用预先指定的存储箱
hist80Ghist80Ghistscatterhisthist80Ghist80Ghistscatterhist