Apache spark 如何在PySpark中排列数组?

Apache spark 如何在PySpark中排列数组?,apache-spark,pyspark,Apache Spark,Pyspark,我有一个带有字符串数组的DataFrame列。我已经尝试创建一个udf并使用numpy进行排列(unit是列名): 如何完成此操作?如果要返回一个numpy数组,则需要返回一个列表 按如下所示更改您的自定义项,它应该可以工作 def permute(row): return np.random.permutation(row).tolist() def permute(row): return np.random.permutation(row).tolist()

我有一个带有字符串数组的DataFrame列。我已经尝试创建一个udf并使用numpy进行排列(
unit
是列名):


如何完成此操作?

如果要返回一个numpy数组,则需要返回一个列表

按如下所示更改您的自定义项,它应该可以工作

def permute(row):
    return np.random.permutation(row).tolist()
def permute(row):
    return np.random.permutation(row).tolist()