在ColumnSimilaries()Spark scala之后获取列名
我正在尝试使用spark中的ColumnComparison()构建基于项目的协同过滤模型。在使用columnsSimilarities()之后,我想将原始列名分配回Spark scala中的结果 可运行代码以计算数据帧上的ColumnComparison() 数据在ColumnSimilaries()Spark scala之后获取列名,scala,apache-spark,apache-spark-sql,apache-spark-mllib,apache-spark-ml,Scala,Apache Spark,Apache Spark Sql,Apache Spark Mllib,Apache Spark Ml,我正在尝试使用spark中的ColumnComparison()构建基于项目的协同过滤模型。在使用columnsSimilarities()之后,我想将原始列名分配回Spark scala中的结果 可运行代码以计算数据帧上的ColumnComparison() 数据 // rdd val rowsRdd: RDD[Row] = sc.parallelize( Seq( Row(2.0, 7.0, 1.0), Row(3.5, 2.5, 0.0), Row(7.0, 5
// rdd
val rowsRdd: RDD[Row] = sc.parallelize(
Seq(
Row(2.0, 7.0, 1.0),
Row(3.5, 2.5, 0.0),
Row(7.0, 5.9, 0.0)
)
)
// Schema
val schema = new StructType()
.add(StructField("item_1", DoubleType, true))
.add(StructField("item_2", DoubleType, true))
.add(StructField("item_3", DoubleType, true))
// Data frame
val df = spark.createDataFrame(rowsRdd, schema)
计算该数据帧上的列相似度:
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.mllib.linalg.distributed.{MatrixEntry, CoordinateMatrix, RowMatrix}
val rows = new VectorAssembler().setInputCols(df.columns).setOutputCol("vs")
.transform(df)
.select("vs")
.rdd
val items_mllib_vector = rows.map(_.getAs[org.apache.spark.ml.linalg.Vector](0))
.map(org.apache.spark.mllib.linalg.Vectors.fromML)
val mat = new RowMatrix(items_mllib_vector)
val simsPerfect = mat.columnSimilarities()
simsPerfect.entries.collect.mkString(", ")
res0: String = MatrixEntry(0,2,0.24759378423606918), MatrixEntry(1,2,0.7376189553526812), MatrixEntry(0,1,0.8355316482961213)
输出:
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.mllib.linalg.distributed.{MatrixEntry, CoordinateMatrix, RowMatrix}
val rows = new VectorAssembler().setInputCols(df.columns).setOutputCol("vs")
.transform(df)
.select("vs")
.rdd
val items_mllib_vector = rows.map(_.getAs[org.apache.spark.ml.linalg.Vector](0))
.map(org.apache.spark.mllib.linalg.Vectors.fromML)
val mat = new RowMatrix(items_mllib_vector)
val simsPerfect = mat.columnSimilarities()
simsPerfect.entries.collect.mkString(", ")
res0: String = MatrixEntry(0,2,0.24759378423606918), MatrixEntry(1,2,0.7376189553526812), MatrixEntry(0,1,0.8355316482961213)
我必须从列中获取原始名称,而不是向量中的位置
我试图通过以下方式读取df中的列名:
val names = df.columns
我的想法是把名字和向量中的位置匹配起来,它们的顺序应该是一样的,但我不知道如何把名字和余弦相似性连接到向量中
我很乐意接受任何建议 提取列名称(这是一个棘手的部分,因为它不能在闭包中计算):
和map
条目:
simsPerfect.entries.map {
case MatrixEntry(i, j, v) => (names(i.toInt), names(j.toInt), v)
}