Python 3.x 如何使用python对10GB以上的大型数据集进行描述性分析

Python 3.x 如何使用python对10GB以上的大型数据集进行描述性分析,python-3.x,large-data,Python 3.x,Large Data,我看到的数据集有超过1亿行和100个信息字段。我试图获得与使用pandas.descripe()相同的信息,但在本例中,我无法将整个文件读入数据帧 有谁能推荐一种在python 3x中使用如此庞大的数据集生成描述性统计数据的方法吗 提前感谢:)也许可以查看dask?@venky\uuu有dask的描述功能吗?我加载的数据在dask上没有任何问题。也许可以查看dask?@venky_uuu_uu有dask的描述函数吗?我在dask上加载了数据,没有任何问题。

我看到的数据集有超过1亿行和100个信息字段。我试图获得与使用pandas.descripe()相同的信息,但在本例中,我无法将整个文件读入数据帧

有谁能推荐一种在python 3x中使用如此庞大的数据集生成描述性统计数据的方法吗


提前感谢:)

也许可以查看dask?@venky\uuu有dask的描述功能吗?我加载的数据在dask上没有任何问题。也许可以查看dask?@venky_uuu_uu有dask的描述函数吗?我在dask上加载了数据,没有任何问题。