Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/19.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 将条目hocon转换为数据帧_Scala_Apache Spark_Apache Spark Sql_Hocon - Fatal编程技术网

Scala 将条目hocon转换为数据帧

Scala 将条目hocon转换为数据帧,scala,apache-spark,apache-spark-sql,hocon,Scala,Apache Spark,Apache Spark Sql,Hocon,我有hocon格式的“频道”条目: param { channels = [ { name = "MainPhone" id = 1 } { name = "OpPhone" id = 2 } { name = "Fax" id = 3 } ] } 我需要的是将条目通道转换为数据帧,这可能吗?我尝试使用以下代码: val ch = confParam.getConfi

我有hocon格式的“频道”条目:

param {
  channels = [
    {
      name = "MainPhone"
      id = 1
    }
    {
      name = "OpPhone"
      id = 2
    }
    {
      name = "Fax"
      id = 3
    }
  ]
}
我需要的是将条目
通道
转换为数据帧,这可能吗?我尝试使用以下代码:

val ch = confParam.getConfigList("param.channels")
case class Provider(id: String, name: String)
val l = ch.map(conf => Provider(conf.getString("id"), conf.getString("name"))).toList
val df = l.toDF()
但我得到了一个错误:

错误:(28,20)值toDF不是列表[Provider]val df=List.toDF()的成员

要在Scala中使用
toDF()
,您需要在代码中导入
spark.implicits
spark
这里指的是
SparkSession
对象,例如在spark 2.0+中:

val spark = SparkSession.builder().getOrCreate()
然后执行导入操作:

import spark.implicits._
这将允许您使用诸如
toDF
toDS
等功能。

请参阅我的答案