Apache spark 是否有一种使用hiveContext获取列名的方法?
我有一个“iplRDD”,它是一个json,我执行以下步骤并通过hivecontext进行查询。我得到的结果没有列标题。是否有办法获取列名称和值Apache spark 是否有一种使用hiveContext获取列名的方法?,apache-spark,Apache Spark,我有一个“iplRDD”,它是一个json,我执行以下步骤并通过hivecontext进行查询。我得到的结果没有列标题。是否有办法获取列名称和值 val teamRDD = hiveContext.jsonRDD(iplRDD) teamRDD.registerTempTable("teams") hiveContext.cacheTable("teams") val result = hiveContext.sql("select * from teams where team_na
val teamRDD = hiveContext.jsonRDD(iplRDD)
teamRDD.registerTempTable("teams")
hiveContext.cacheTable("teams")
val result = hiveContext.sql("select * from teams where team_name = "KKR" )
result.collect.foreach(println)
有什么想法吗
teamRDD.schema.fieldNames
应包含标题名。您可以将数据帧“结果”与标题一起保存为csv文件:
result.write().format("com.databricks.spark.csv").option("header", "true").save(outputPath);
您可以通过以下方式获得:
result.schema().fields();