Apache spark PySpark在嵌套字段中添加新对象(如果不存在)
模式 df有userId和languageknownList。每个用户都应该懂英语,所以我必须添加的languageknowList中没有英语Apache spark PySpark在嵌套字段中添加新对象(如果不存在),apache-spark,pyspark,apache-spark-sql,Apache Spark,Pyspark,Apache Spark Sql,模式 df有userId和languageknownList。每个用户都应该懂英语,所以我必须添加的languageknowList中没有英语 root |-- userId: string (nullable = true) |-- languageknowList: array (nullable = true) | |-- element: struct (containsNull = false) | | |-- code: s
root
|-- userId: string (nullable = true)
|-- languageknowList: array (nullable = true)
| |-- element: struct (containsNull = false)
| | |-- code: string (nullable = false)
| | |-- description: string (nullable = false)
| | |-- name: string (nullable = false)
任何人都可以帮助我。您可以创建一个新的structs column数组,并将其连接到现有列:
English
code: 10
description: English Language
name: English
您可以创建一个新的structs column数组,并将其连接到现有列:
English
code: 10
description: English Language
name: English
如果它不存在,只需要concatenate@SuFi对不起,我错过了那个要求。查看编辑的代码?如果不存在,只需concatenate@SuFi对不起,我错过了那个要求。看到编辑过的代码了吗?