Dataframe 如何将每列的两个数组转换为Spark数据帧的一对？

我有一个DataFrame，它有两列数组值，如下所示

var ds = Seq((Array("a","b"),Array("1","2")),(Array("p","q"),Array("3","4")))
var df = ds.toDF("col1", "col2")

+------+------+
|  col1|  col2|
+------+------+
|[a, b]|[1, 2]|
|[p, q]|[3, 4]|
+------+------+

+------+------+---------------+
|  col1|  col2|           col3|
+------+------+---------------+
|[a, b]|[1, 2]|[[a, 1],[b, 2]]|
|[p, q]|[3, 4]|[[p, 3],[q, 4]]|
+------+------+---------------+

我想将其转换为如下所示的成对数组

var ds = Seq((Array("a","b"),Array("1","2")),(Array("p","q"),Array("3","4")))
var df = ds.toDF("col1", "col2")

+------+------+
|  col1|  col2|
+------+------+
|[a, b]|[1, 2]|
|[p, q]|[3, 4]|
+------+------+

+------+------+---------------+
|  col1|  col2|           col3|
+------+------+---------------+
|[a, b]|[1, 2]|[[a, 1],[b, 2]]|
|[p, q]|[3, 4]|[[p, 3],[q, 4]]|
+------+------+---------------+

---

我想我可以使用struct和一些udf。但是我想知道是否有任何内置的高阶方法可以有效地执行此操作。

来自

Spark-2.4

使用

数组函数

示例：

df.show()
#+------+------+
#|  col1|  col2|
#+------+------+
#|[a, b]|[1, 2]|
#|[p, q]|[3, 4]|
#+------+------+
from pyspark.sql.functions import *
df.withColumn("col3",arrays_zip(col("col1"),col("col2"))).show()
#+------+------+----------------+
#|  col1|  col2|            col3|
#+------+------+----------------+
#|[a, b]|[1, 2]|[[a, 1], [b, 2]]|
#|[p, q]|[3, 4]|[[p, 3], [q, 4]]|
#+------+------+----------------+

对于
Spark-2.3或以下版本，我发现迭代器zip方法对于这个用例非常方便（我在发布问题时没有注意到）。我可以定义一个小的UDF

val zip = udf((xs: Seq[String], ys: Seq[String]) => xs.zip(ys))

并用作

var out = df.withColumn("col3", zip(df("col1"), df("col2")))

这给了我想要的结果。
注意：col1和col2的数组总是有相同数量的itemsThanks@Shu，但我使用的是Spark 2.3。