Scala 将条目hocon转换为数据帧
我有hocon格式的“频道”条目:Scala 将条目hocon转换为数据帧,scala,apache-spark,apache-spark-sql,hocon,Scala,Apache Spark,Apache Spark Sql,Hocon,我有hocon格式的“频道”条目: param { channels = [ { name = "MainPhone" id = 1 } { name = "OpPhone" id = 2 } { name = "Fax" id = 3 } ] } 我需要的是将条目通道转换为数据帧,这可能吗?我尝试使用以下代码: val ch = confParam.getConfi
param {
channels = [
{
name = "MainPhone"
id = 1
}
{
name = "OpPhone"
id = 2
}
{
name = "Fax"
id = 3
}
]
}
我需要的是将条目通道
转换为数据帧,这可能吗?我尝试使用以下代码:
val ch = confParam.getConfigList("param.channels")
case class Provider(id: String, name: String)
val l = ch.map(conf => Provider(conf.getString("id"), conf.getString("name"))).toList
val df = l.toDF()
但我得到了一个错误:
错误:(28,20)值toDF不是列表[Provider]val df=List.toDF()的成员
要在Scala中使用toDF()
,您需要在代码中导入spark.implicits
spark
这里指的是SparkSession
对象,例如在spark 2.0+中:
val spark = SparkSession.builder().getOrCreate()
然后执行导入操作:
import spark.implicits._
这将允许您使用诸如toDF
、toDS
等功能。请参阅我的答案