将pyspark数组列乘以标量

我试图将数组类型的列乘以标量。此标量也是来自同一pyspark数据帧的值

例如，我有这样一个数据帧：

df = sc.parallelize([([1, 2],3)]).toDF(["l","factor"])
+------+------+
|     l|factor|
+------+------+
|[1, 2]|     3|
+------+------+

我想要实现的是：

+------+------+
|     l|factor|
+------+------+
|[3, 6]|     3|
+------+------+

这就是我尝试过的：

df.withColumn("l", lit("factor") * df.l)

但它返回一个类型不匹配错误。

---

如何将数组类型的列与数字相乘？

来自

spark-2.4

使用

变换

spark.sql(""" select l, factor, transform(l,x -> x * factor) as result from tmp """).show(10,False)
#+------+------+------+
#|l     |factor|result|
#+------+------+------+
#|[1, 2]|3     |[3, 6]|
#+------+------+------+

df.withColumn("res",expr("""transform(l,x -> x*factor)""")).show()
#+------+------+------+
#|     l|factor|   res|
#+------+------+------+
#|[1, 2]|     3|[3, 6]|
#+------+------+------+


使用数据帧API:

spark.sql(""" select l, factor, transform(l,x -> x * factor) as result from tmp """).show(10,False)
#+------+------+------+
#|l     |factor|result|
#+------+------+------+
#|[1, 2]|3     |[3, 6]|
#+------+------+------+

df.withColumn("res",expr("""transform(l,x -> x*factor)""")).show()
#+------+------+------+
#|     l|factor|   res|
#+------+------+------+
#|[1, 2]|     3|[3, 6]|
#+------+------+------+

正是我一直在寻找的！！！！谢谢！