Scala 将ml.feature.LabeledPoint保存到本地libsvm文件
几乎是传统的mllib LabeledPoint保存到libsvm文件中,如下所示:Scala 将ml.feature.LabeledPoint保存到本地libsvm文件,scala,apache-spark,libsvm,Scala,Apache Spark,Libsvm,几乎是传统的mllib LabeledPoint保存到libsvm文件中,如下所示: val rddtoprint:RDD[LabeledPoint]= .... MLUtils.saveAsLibSVMFile(rddtoprint, s"$newPath${File.separator}${fileName }") ml.feature.LabeledPoint的等效方法是什么?好的,所以有两个选项。 1.你自己动手吧。生成为字符串并使用标准文件IO保存 def libSVMFile
val rddtoprint:RDD[LabeledPoint]= ....
MLUtils.saveAsLibSVMFile(rddtoprint, s"$newPath${File.separator}${fileName }")
ml.feature.LabeledPoint的等效方法是什么?好的,所以有两个选项。 1.你自己动手吧。生成为字符串并使用标准文件IO保存
def libSVMFileAsString():String= {
val sparse0=internalCheckColumnOrder()
val rows:Array[String]=sparse0.lpData().map { case LabeledPoint(label, features) =>
val sb = new StringBuilder(label.toString)
features.foreachActive { case (i, v) =>
sb += ' '
sb ++= s"${i + 1}:$v"
}
sb.mkString
}.collect()
val sbOut:mutable.StringBuilder=new mutable.StringBuilder()
rows.foreach(r=>sbOut.append(r + "\n"))
sbOut.toString()
}
转换为数据帧,然后保存:
def labeledPintsAsDataFrame(): DataFrame =
{
lpData:RDD[LabeledPoint]=...
val sqlContext = spark.sqlContext
import sqlContext.implicits._
lpData().toDF
}
然后
dftoprint.write.format("libsvm").save(s"$newPath${File.separator}${fileName}")
至少早在Spark 2.2中,MLUtils中就有一个helper方法