Apache spark 将Spark org.apache.Spark.mllib.linalg.Matrix保存到文件中
Spark MLLib中的关联结果为org.apache.Spark.MLLib.linalg.Matrix类型。(见附件) 我想将结果保存到一个文件中。如何实现这一点?由于可序列化,您可以使用普通Scala编写它Apache spark 将Spark org.apache.Spark.mllib.linalg.Matrix保存到文件中,apache-spark,apache-spark-mllib,Apache Spark,Apache Spark Mllib,Spark MLLib中的关联结果为org.apache.Spark.MLLib.linalg.Matrix类型。(见附件) 我想将结果保存到一个文件中。如何实现这一点?由于可序列化,您可以使用普通Scala编写它 你可以找到一个例子。谢谢你的建议。我想出了这个解决办法。感谢伊格纳西奥的建议 val vtsd = sd.map(x => Vectors.dense(x.toArray)) val corrMat = Statistics.corr(vtsd) val arrayCor =
你可以找到一个例子。谢谢你的建议。我想出了这个解决办法。感谢伊格纳西奥的建议
val vtsd = sd.map(x => Vectors.dense(x.toArray))
val corrMat = Statistics.corr(vtsd)
val arrayCor = corrMat.toArray.toList
val colLen = columnHeader.size
val toArr2 = sc.parallelize(arrayCor).zipWithIndex().map(
x => {
if ((x._2 + 1) % colLen == 0) {
(x._2, arrayCor.slice(x._2.toInt + 1 - colLen, x._2.toInt + 1).mkString(";"))
} else {
(x._2, "")
}
}).filter(_._2.nonEmpty).sortBy(x => x._1, true, 1).map(x => x._2)
toArr2.coalesce(1, true).saveAsTextFile("/home/user/spark/cor_" + System.currentTimeMillis())
下面是一种将矩阵保存到hdfs并指定分隔符的简单而有效的方法 (之所以使用转置,是因为.toArray采用列主格式。)
Dylan Hogg的回答很好,为了稍微增强它,添加了一个列索引。(在我的用例中,一旦我创建了一个文件并下载了它,由于并行处理等的性质,它就不会被排序。) 参考: 替换为这一行,它将在这一行上放置一个序列号(从w/0开始),这样在您查看它时更容易排序
val lines: List[String] = localMatrix
.map(line => line.mkString(" "))
.zipWithIndex.map { case(line, count) => s"$count $line" }
谢谢你的回答,卡洛斯。我想用HDFS保存矩阵。此外,如果可能,以人类“可读”的格式。差不多。由RDD API提供的saveAsTextFile您可以尝试
data.saveAsTextFile(“hdfs://...)
。我在报纸上看到过。
val localMatrix: List[Array[Double]] = correlMatrix
.transpose // Transpose since .toArray is column major
.toArray
.grouped(correlMatrix.numCols)
.toList
val lines: List[String] = localMatrix
.map(line => line.mkString(" "))
sc.parallelize(lines)
.repartition(1)
.saveAsTextFile("hdfs:///home/user/spark/correlMatrix.txt")
val lines: List[String] = localMatrix
.map(line => line.mkString(" "))
.zipWithIndex.map { case(line, count) => s"$count $line" }