Scala apachespark中分布式计算的矩阵求逆

Scala apachespark中分布式计算的矩阵求逆,scala,apache-spark,distributed-computing,Scala,Apache Spark,Distributed Computing,我需要找到一种方法来计算Spark中某种分布式数据类型的矩阵逆。数据是纯数字的,任何在行矩阵/数据帧/RDD中执行此操作的方法都非常有用。虽然有一些关于这类内容的堆栈溢出帖子,但它们涉及到转换为本地数据类型,这对于我正在处理的数据量来说是不可行的 我在Spark中使用breeze对Scala和Densematrics进行了详细介绍,但似乎它们不是分布式的,也可能没有必要的可伸缩性。听起来您在寻找与相同的东西,但使用一个返回分布式矩阵的函数,而不是DenseMatrix。是吗?就是这样。我也有同样

我需要找到一种方法来计算Spark中某种分布式数据类型的矩阵逆。数据是纯数字的,任何在行矩阵/数据帧/RDD中执行此操作的方法都非常有用。虽然有一些关于这类内容的堆栈溢出帖子,但它们涉及到转换为本地数据类型,这对于我正在处理的数据量来说是不可行的


我在Spark中使用breeze对Scala和Densematrics进行了详细介绍,但似乎它们不是分布式的,也可能没有必要的可伸缩性。

听起来您在寻找与相同的东西,但使用一个返回分布式矩阵的函数,而不是
DenseMatrix
。是吗?就是这样。我也有同样的问题,但我想保持它的分布为什么你首先要反转一个矩阵?对于大于4x4的任何事物,逆矩阵只存在于理论线性代数书籍中。啊,甚至还有。我正试图在Spark中实现一个集群健壮的标准误差计算。据我所知,计算矩阵逆是其中的一个组成部分,但可能有一些我不熟悉的解决办法。@Cheezbez你的公式看起来像是
q(X^tx)^{-1}(X^tx)^{-1}
,其中
X
是从一些数据点生成的矩阵,
(X^tx)^{-1}
是“逆”你想找到的?在这种情况下,我建议您开始搜索。我几乎可以肯定,对于
A=X^T X
的特殊情况,必须有有效的迭代算法,而稀疏
X
,我就是想不起它的名字。