Python 用Dask处理大型矩阵

Python 用Dask处理大型矩阵,python,matrix,dask,numpy-ndarray,Python,Matrix,Dask,Numpy Ndarray,我想做一个非常大的矩阵的乘法 x_dask = da.random.normal(10, 0.1, size=(111000,111000), chunks=(111000, 1000)) y_dask = x_dask.transpose() z = x_dask.dot(y_dask) %time out = z.compute() 它与MemoryError崩溃:无法为具有形状(111000111000)和数据类型float64的数组分配91.8 GiB 我确实理解,因为compute调

我想做一个非常大的矩阵的乘法

x_dask = da.random.normal(10, 0.1, size=(111000,111000), chunks=(111000, 1000))
y_dask = x_dask.transpose()
z = x_dask.dot(y_dask)
%time out = z.compute()
它与MemoryError崩溃:无法为具有形状(111000111000)和数据类型float64的数组分配91.8 GiB

我确实理解,因为compute调用将结果作为numpy发送到内存中。但我无法找到如何在将结果发送到文件时执行此操作

有人能指点一下吗