Pyspark 如何遍历数据帧的数组值？

我有一个Pyspark数据框，看起来像这样

>>> df1.show(1,False)
+---------------------------+
|col1                       |
+---------------------------+
|[this, is, a, sample, text]| => Not a fixed array elements
+---------------------------+

>>> lookup.show()
+------+
|lookup|
+------+
|  this|
|    is|
|     a|
|sample|
+------+

还有这样的查找表/df

>>> df1.show(1,False)
+---------------------------+
|col1                       |
+---------------------------+
|[this, is, a, sample, text]| => Not a fixed array elements
+---------------------------+

>>> lookup.show()
+------+
|lookup|
+------+
|  this|
|    is|
|     a|
|sample|
+------+

对于每一行，

df1的每个数组元素

我需要在

查找

数据帧中进行查找，并返回true或false

[T，T，T，T，F]

---

如何循环使用

df1

请发布您的预期输出。我在寻找方法，而不是具体的答案。但我已经更新了我的问题，以提供更清晰的信息。@Bala这取决于您的Spark版本（2.40+或更低）以及查找数据帧的大小。@jxc Spark 2.3。那么您可能需要一个自定义项。您可以尝试

pos\u explode

然后左键加入，但explode通常很昂贵，尤其是当您的df有许多列时。请发布您的预期输出。我正在寻找方法，而不是具体的答案。但我已经更新了我的问题，以提供更清晰的信息。@Bala这取决于您的Spark版本（2.40+或更低）以及查找数据帧的大小。@jxc Spark 2.3。那么您可能需要一个自定义项。您可以尝试

pos\u explode

然后左键加入，但explode通常很昂贵，尤其是当您的df有许多列时。