NumPy可以处理多少数据

NumPy可以处理多少数据,numpy,pytables,Numpy,Pytables,我正在尝试使用PyTables和NumPy 你能告诉我后者能处理多少数据吗 我目前正在处理1.4亿行的数据,我想知道NumPy是否可以处理它。如果它至少能处理1.4亿行2列,那就太好了。现在我使用的是64位版本的Windows,内存为8GB 如果NumPy无法处理如此多的数据,那么统计和机器学习算法实现的可能替代方案是什么?140M远小于2**31,因此如果有足够的内存,它甚至应该适合32位Python/NumPy。你可以很容易地用它来尝试 >>> import numpy a

我正在尝试使用
PyTables
NumPy

你能告诉我后者能处理多少数据吗

我目前正在处理1.4亿行的数据,我想知道
NumPy
是否可以处理它。如果它至少能处理1.4亿行2列,那就太好了。现在我使用的是64位版本的Windows,内存为8GB


如果
NumPy
无法处理如此多的数据,那么统计和机器学习算法实现的可能替代方案是什么?

140M远小于2**31,因此如果有足够的内存,它甚至应该适合32位Python/NumPy。你可以很容易地用它来尝试

>>> import numpy as np
>>> X = np.empty((140e6, 2))
标准
dtype=np.float64
的内存使用量约为8字节×140M×2=2GB。如果使用
dtype=np.float32
可以保存系数2