Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark PCA输入的错误参数超过65535_Apache Spark_Pca_Apache Spark Mllib - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark PCA输入的错误参数超过65535

Apache spark PCA输入的错误参数超过65535

apache-spark

Apache spark PCA输入的错误参数超过65535,apache-spark,pca,apache-spark-mllib,Apache Spark,Pca,Apache Spark Mllib,在spark.mllib.feature中使用PCA时，我的输入数据的COL超过65535，但PCA中定义的行矩阵当前PCA实现似乎有一个限制，即在内存中拟合d^2协方差/语法矩阵项（d是矩阵的列数/维数） 目前固定为65535，因为PCA的当前实现没有太大的可扩展性。所以你不能在你的病例中使用PCA 参考： 有一个计划要实现一个概率主成分分析算法，该算法应该是可扩展的，但似乎已经解决了，因为无法修复@eliasah，错误是线程“main”中的异常java.lang.IllegalArgumen

在spark.mllib.feature中使用PCA时，我的输入数据的COL超过65535，但PCA中定义的行矩阵当前PCA实现似乎有一个限制，即在内存中拟合d^2协方差/语法矩阵项（d是矩阵的列数/维数）

目前固定为65535，因为PCA的当前实现没有太大的可扩展性。所以你不能在你的病例中使用PCA

参考：

有一个计划要实现一个概率主成分分析算法，该算法应该是可扩展的，但似乎已经解决了，因为无法修复

@eliasah，错误是线程“main”中的异常java.lang.IllegalArgumentException:org.apache.spark.mllib.linalg.distributed.RowMatrix.checkNumColumns（RowMatrix.scala:135）上超过65535列的参数：84619如果提供的答案之一解决了您的问题，请接受它，这样我们就可以结束这个问题@LiYu你能接受这个答案吗？或者解释一下为什么它对你不起作用，这样可以改进它？谢谢