如何在Scala Spark中创建给定维度的随机索引行矩阵
我想在Scala-Spark中创建一个索引行矩阵,它在向量中有随机值。 我已经能够使用下面的代码创建一个本地数组,但是对于大尺寸,它会搞砸-如何在Scala Spark中创建给定维度的随机索引行矩阵,scala,apache-spark,Scala,Apache Spark,我想在Scala-Spark中创建一个索引行矩阵,它在向量中有随机值。 我已经能够使用下面的代码创建一个本地数组,但是对于大尺寸,它会搞砸- import org.apache.spark.mllib.random.RandomRDDs._ import scala.util.Random var r = scala.util.Random var populationSize = 15 var chromosomeLength = 4 var randomPopulation = Ar
import org.apache.spark.mllib.random.RandomRDDs._
import scala.util.Random
var r = scala.util.Random
var populationSize = 15
var chromosomeLength = 4
var randomPopulation = Array.fill(populationSize,chromosomeLength{r.nextFloat}
这应该会产生这样的结果
[1, [random vector of length 4]
2 , [random vector of length 4] ....15 [random vector of length 4] ]
这是一个索引行矩阵。简单明了
import org.apache.spark.mllib.random.RandomRDDs
import org.apache.spark.mllib.linalg.distributed.{IndexedRowMatrix, IndexedRow}
new IndexedRowMatrix(
RandomRDDs.uniformVectorRDD(sc, populationSize, chromosomeLength)
.zipWithIndex.map { case (v, i) => IndexedRow(i, v) }
)
其中,
sc
是SparkContext
或的一个实例,如何打印?