Python pyspark是否有org.apache.spark.functions.transform的等价物?

Python pyspark是否有org.apache.spark.functions.transform的等价物?,python,apache-spark,pyspark,apache-spark-sql,Python,Apache Spark,Pyspark,Apache Spark Sql,将函数应用于数组的每个元素(spark 3.0中新增) 然而,pyspark没有提到一个等价的函数 (有pyspark.sql.DataFrame.transform-但它用于转换数据帧,而不是数组元素)编辑: 要避免UDF,可以使用F.expr('transform…'): 旧答案: IIUC,我认为等价物是UDFx+1是要应用的功能 import pyspark.sql.functions as F from pyspark.sql.types import IntegerType add

将函数应用于数组的每个元素(spark 3.0中新增) 然而,pyspark没有提到一个等价的函数

(有pyspark.sql.DataFrame.transform-但它用于转换数据帧,而不是数组元素)

编辑:

要避免UDF,可以使用F.expr('transform…'):

旧答案:

IIUC,我认为等价物是UDF<代码>x+1是要应用的功能

import pyspark.sql.functions as F
from pyspark.sql.types import IntegerType

add = F.udf(lambda arr: [x+1 for x in arr], ArrayType(IntegerType()))
df.select(add('col')).show()
+-------------+
|<lambda>(col)|
+-------------+
|       [2, 3]|
|       [4, 5]|
+-------------+
导入pyspark.sql.F函数
从pyspark.sql.types导入IntegerType
add=F.udf(lambda arr:[x+1表示arr中的x],ArrayType(IntegerType())
df.select(添加('col')).show()
+-------------+
|(col)|
+-------------+
|       [2, 3]|
|       [4, 5]|
+-------------+

转换的目的是避免使用UDF函数进行转换functionality@OphirYoktan看到我编辑的答案了吗?
import pyspark.sql.functions as F
from pyspark.sql.types import IntegerType

add = F.udf(lambda arr: [x+1 for x in arr], ArrayType(IntegerType()))
df.select(add('col')).show()
+-------------+
|<lambda>(col)|
+-------------+
|       [2, 3]|
|       [4, 5]|
+-------------+