Python 如何提取数组中映射的值列表？

在我的数据框架中，我有以下模式：

root
 |-- data: array (nullable = false)
 |    |-- element: map (containsNull = false)
 |    |    |-- key: integer
 |    |    |-- value: string (valueContainsNull = false)

例如，该值：

"DATA":[{"message":"A", "AlternateMessage":"B"},{"message":"C", "AlternateMessage":"D"},{"message":"E", "AlternateMessage":"F"}]

我需要：

MESSAGE="A,C,E"
ALTERNEATE_MESSAGE="B,D,F"

我用

df=sf.withColumn("message",F.concat_ws(df.data.message))

但我有错误

有什么帮助吗？

---

谢谢

如果您可以使用spark 2.4+，则使用transform+array_-join，类似于此：：如果您可以使用spark 2.4+，则使用transform+array_-join，类似于此：：