Apache spark PySpark在嵌套字段中添加新对象(如果不存在)

Apache spark PySpark在嵌套字段中添加新对象(如果不存在),apache-spark,pyspark,apache-spark-sql,Apache Spark,Pyspark,Apache Spark Sql,模式 df有userId和languageknownList。每个用户都应该懂英语,所以我必须添加的languageknowList中没有英语 root |-- userId: string (nullable = true) |-- languageknowList: array (nullable = true) | |-- element: struct (containsNull = false) | | |-- code: s

模式

df有userId和languageknownList。每个用户都应该懂英语,所以我必须添加的languageknowList中没有英语

 root
     |-- userId: string (nullable = true)
     |-- languageknowList: array (nullable = true)
     |    |-- element: struct (containsNull = false)
     |    |    |-- code: string (nullable = false)
     |    |    |-- description: string (nullable = false)
     |    |    |-- name: string (nullable = false)

任何人都可以帮助我。

您可以创建一个新的structs column数组,并将其连接到现有列:

English
code: 10
description: English Language
name: English

您可以创建一个新的structs column数组,并将其连接到现有列:

English
code: 10
description: English Language
name: English

如果它不存在,只需要concatenate@SuFi对不起,我错过了那个要求。查看编辑的代码?如果不存在,只需concatenate@SuFi对不起,我错过了那个要求。看到编辑过的代码了吗?