Scala Spark将数据帧转换为行矩阵
假设我有一个由一系列转换产生的数据帧。如下所示:Scala Spark将数据帧转换为行矩阵,scala,apache-spark,dataframe,Scala,Apache Spark,Dataframe,假设我有一个由一系列转换产生的数据帧。如下所示: id matrixRow 0 [1,2,3] 1 [4,5,6] 2 [7,8,9] 每一行实际上对应于矩阵的一行。 如何将dataframe的matrixRow列转换为RowMatrix?经过多次尝试,这里有一个解决方案: val rdd = df.rdd.map( row => Vectors.dense(row.getAs[Seq[Double]](1).toArray)//get the second
id matrixRow
0 [1,2,3]
1 [4,5,6]
2 [7,8,9]
每一行实际上对应于矩阵的一行。
如何将dataframe的matrixRow列转换为RowMatrix?经过多次尝试,这里有一个解决方案:
val rdd = df.rdd.map(
row => Vectors.dense(row.getAs[Seq[Double]](1).toArray)//get the second column value as Seq[Double], then as Array, then cast to Vector
)
val row = new RowMatrix(rdd)
经过多次尝试,这里有一个解决方案:
val rdd = df.rdd.map(
row => Vectors.dense(row.getAs[Seq[Double]](1).toArray)//get the second column value as Seq[Double], then as Array, then cast to Vector
)
val row = new RowMatrix(rdd)
你在用什么语言?@Psidom我在用scala当你说矩阵时,你是指数组数组还是scale-breeze矩阵?不,它指的是代数上下文中的矩阵。好的。那么你想用什么数据结构来实现代数矩阵?你在用什么语言?@Psidom我在用scala当你说矩阵时,你是指数组数组还是scale breeze矩阵?不,它指的是代数上下文中的矩阵。好的。那么,你想用什么样的数据结构来实现代数矩阵呢?