Parallel processing 在Dask上,调用稀疏迭代方法Dask数组或跨集群中的节点

Parallel processing 在Dask上,调用稀疏迭代方法Dask数组或跨集群中的节点,parallel-processing,linear-algebra,dask,dask-distributed,Parallel Processing,Linear Algebra,Dask,Dask Distributed,我有一个大的稀疏矩阵,它只能适合集群的多个节点。我想 通过调用 import scipy.sparse.linalg as splinalg A = my_sparse_matrix # a sparse dask array defined across four nodes b = my_vector # an initial vector M = my_sparse_preconditioner # a preconditioner t

我有一个大的稀疏矩阵,它只能适合集群的多个节点。我想 通过调用

import scipy.sparse.linalg as splinalg

A = my_sparse_matrix          # a sparse dask array defined across four nodes
b = my_vector                 # an initial vector
M = my_sparse_preconditioner  # a preconditioner to help improve convergence of algorithm

x = splinalg.bicgstab(A, b, M=M)
有没有办法做到这一点

  • 如果我只使用一个节点,它将并行求解x
  • 如果我使用多个节点(例如4个节点),它会工作吗

如果不是,这是Dask社区正在研究的吗?

Dask阵列支持稀疏矩阵块

Dask阵列支持SciPy LinearOperator API

这两个事实可能足以解决你的问题,但毫无疑问,你仍然需要自己做一些工作。例如,对于分布式稀疏阵列,没有明显的存储解决方案。没有明显的方法来划分数据等

所以“是的”,达斯克可以在这里提供帮助,但“不是”没有明显的罐装解决方案