Python 更改数据帧中的列数据类型并将其传递到UDF-PySpark

我目前正在处理一个问题，该问题涉及更改

数据帧中多个
列的类型，但我不确定如何将其传递到
udf
，因为我创建的函数将
字典作为参数，因此，我不知道如何将函数传递到
udf

我目前拥有的所有数据类型都是
String
类型，但正如我所提到的，我需要将它们更改为不同的类型，例如
Integer&Date

我的函数如下所示：

def columns_types_transformer(df, reformating_dict):
    for column, new_type in reformating_dict.items():
        df = df.withColumn(column, df[column].cast(new_type))
    return df

dictionary = {'date1': DateType(), 'date2': DateType(), 'date3': DateType(), 'date4': DateType(), 'date5': DateType(), 'date6': DateType(), 'integer1': IntegerType()}

我要传递的字典如下所示：

def columns_types_transformer(df, reformating_dict):
    for column, new_type in reformating_dict.items():
        df = df.withColumn(column, df[column].cast(new_type))
    return df

dictionary = {'date1': DateType(), 'date2': DateType(), 'date3': DateType(), 'date4': DateType(), 'date5': DateType(), 'date6': DateType(), 'integer1': IntegerType()}

我这里的问题是如何将具有正确类型的字典传递到udf中？
我考虑的另一种方法是使用SQLTransformer，但也不确定如何做到这一点

任何帮助都将不胜感激。
我使用SQLTransformer解决了这个问题

这就是我所做的

sqlTrans_formatter = SQLTransformer(statement="SELECT CAST(date1 AS date), CAST(date2 AS date), CAST(date3 AS date), CAST(date4 AS date), CAST(date5 AS date), CAST(date6 AS date), CAST(integer1 AS int) FROM __THIS__")

df = sqlTrans_formatter.transform(ddf)

希望这对其他人也有帮助。
我想知道你为什么需要一个UDF？为了更改列的数据类型，您的代码应该可以正常工作。@pansen我想要一个udf，以便将此udf放入管道中，因为仅使用此函数无法进入管道，实际上我使用SQLTransformerRight找到了一个解决方法，这是有意义的。谢谢分享你的答案。