Apache spark apachespark-MLlib-Matrix乘法

Apache spark apachespark-MLlib-Matrix乘法,apache-spark,linear-algebra,apache-spark-mllib,jblas,Apache Spark,Linear Algebra,Apache Spark Mllib,Jblas,我试图用MLlib来解决矩阵乘法问题 我知道Spark MLLib使用本机库,这些库需要存在于节点上。(它不附带spark安装) 所以我已经在所有节点上安装了libgfortran库(我的操作与 ) 但在集群上运行时仍然会遇到此错误 Lost task 0.3 in stage 2.0 (TID 11, ibm-power-6.dima.tu-berlin.de): java.lang.UnsatisfiedLinkError: org.jblas.NativeBlas.dgemm(CCIIID

我试图用MLlib来解决矩阵乘法问题

我知道Spark MLLib使用本机库,这些库需要存在于节点上。(它不附带spark安装)

所以我已经在所有节点上安装了libgfortran库(我的操作与 )

但在集群上运行时仍然会遇到此错误

Lost task 0.3 in stage 2.0 (TID 11, ibm-power-6.dima.tu-berlin.de): java.lang.UnsatisfiedLinkError: org.jblas.NativeBlas.dgemm(CCIIID[DII[DIID[DII)V
    at org.jblas.NativeBlas.dgemm(Native Method)
    at org.jblas.SimpleBlas.gemm(SimpleBlas.java:247)
    .....

如何解决此错误?

Spark有一段时间没有使用
jblas
;据我所知,目前还没有从1.4.0开始,1.4.0是一年多前推出的。您链接到Spark 0.9.0文档链接的答案肯定是古老的。因此,最简单的解决方案似乎是使用一个更新版本的Spark


如果这是不可能的,或者如果您遇到必须再次使用jblas的情况:看起来您正在使用ibmpowerlinux硬件。支持此平台,因此您必须确保至少使用该版本。

您是否将jblas库添加到Spark类路径?