Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/18.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala Spark dataframe将所有列转换为json格式,然后修改json结构_Scala_Dataframe_Apache Spark_Apache Spark Sql - Fatal编程技术网

Scala Spark dataframe将所有列转换为json格式,然后修改json结构

Scala Spark dataframe将所有列转换为json格式,然后修改json结构,scala,dataframe,apache-spark,apache-spark-sql,Scala,Dataframe,Apache Spark,Apache Spark Sql,使用df.toJSON将我的数据帧转换为json json转换后,模式如下所示: root |-- value: string (nullable = true) 生成当前模式的最佳方法是什么,例如,所有根级别属性;在本例中,“value”列嵌套到名为“data”的新根级json键中,并在根级添加新属性。如何在scala中实现这一点 请检查下面的代码 scala> df.toJSON.select(struct($"value").as("data")).printSchema roo

使用df.toJSON将我的数据帧转换为json

json转换后,模式如下所示:

root
 |-- value: string (nullable = true)

生成当前模式的最佳方法是什么,例如,所有根级别属性;在本例中,“value”列嵌套到名为“data”的新根级json键中,并在根级添加新属性。如何在scala中实现这一点

请检查下面的代码

scala> df.toJSON.select(struct($"value").as("data")).printSchema
root
 |-- data: struct (nullable = false)
 |    |-- value: string (nullable = true)