如何在Pyspark数据帧中创建查找列中值的函数

如何在Pyspark数据帧中创建查找列中值的函数,pyspark,apache-spark-sql,pyspark-dataframes,Pyspark,Apache Spark Sql,Pyspark Dataframes,我想用Pyspark中的中值替换空值。我该怎么做?可以使用summary()函数计算中值。 例如,如果要用列_1中的中值替换空值,可以执行以下操作: df.na.fill({'column_1': df.summary().filter(col("summary")=="50%")\ .select(col("column_1")).collect()[0][0]}).show()

我想用Pyspark中的中值替换空值。我该怎么做?

可以使用summary()函数计算中值。
例如,如果要用
列_1
中的中值替换空值,可以执行以下操作:

df.na.fill({'column_1': df.summary().filter(col("summary")=="50%")\
            .select(col("column_1")).collect()[0][0]}).show()