Scala 将Spark数据帧转换为对象列表
我知道可以使用以下方法将dataframe列转换为列表:Scala 将Spark数据帧转换为对象列表,scala,apache-spark,oop,dataframe,apache-spark-sql,Scala,Apache Spark,Oop,Dataframe,Apache Spark Sql,我知道可以使用以下方法将dataframe列转换为列表: dataFrame.select("ColumnName").rdd.map(r => r(0)).collect() 假设我已经知道dataframe的模式,并相应地创建了一个case类,如: case class Synonym(URI: String, similarity: Double, FURI: String) 有没有一种有效的方法可以从数据帧的数据中获取同义词对象列表 换句话说,我正在尝试创建一个映射器,该映射器
dataFrame.select("ColumnName").rdd.map(r => r(0)).collect()
假设我已经知道dataframe的模式,并相应地创建了一个case类,如:
case class Synonym(URI: String, similarity: Double, FURI: String)
有没有一种有效的方法可以从数据帧的数据中获取同义词对象列表
换句话说,我正在尝试创建一个映射器,该映射器将数据帧的每一行转换为我的case类的对象,然后以一种在操作结束时可以获得这些对象列表的方式返回该对象。这是一种有效的好方法吗?使用
作为[Synonym]
来获取数据集[Synonym]
,然后您可以收集它来获取数组[Synonym]
:
val result = dataframe.as[Synonym].collect()
使用作为[Synonym]
获取数据集[Synonym]
,然后可以收集以获取数组[Synonym]
:
val result = dataframe.as[Synonym].collect()
使用键入的数据集
:
df.select("URI", "similarity", "FURI").as[Synonym].collect
使用键入的数据集
:
df.select("URI", "similarity", "FURI").as[Synonym].collect