如何筛选pyspark dataframe中任何列为空的行

如何筛选pyspark dataframe中任何列为空的行,dataframe,filter,pyspark,null,Dataframe,Filter,Pyspark,Null,它必须已经在stackoverflow上的某个地方了,但我只是想找到一些方法来过滤pyspark dataframe中1个特定列为null的行,而不是任何列为null的行 import pandas as pd import pyspark.sql.functions as f my_dict = {"column1":list(range(100)),"column2":["a","b","c"

它必须已经在stackoverflow上的某个地方了,但我只是想找到一些方法来过滤pyspark dataframe中1个特定列为null的行,而不是任何列为null的行

import pandas as pd
import pyspark.sql.functions as f
my_dict = {"column1":list(range(100)),"column2":["a","b","c",None]*25,"column3":["a","b","c","d",None]*20}
my_pandas_df = pd.DataFrame(my_dict)

sparkDf = spark.createDataFrame(my_pandas_df)
sparkDf.show(5)

我试图在我的数据帧的任何列中包含具有空值的任何行,基本上与此相反:

sparkDf.na.drop()

对于包含任何列为
null
的行:

sparkDf.filter(F.greatest(*[F.col(i).isNull() for i in sparkDf.columns])).show(5)
对于排除相同的情况:

sparkDf.na.drop(how='any').show(5)

你的问题不清楚。要查找所有列都为null的行,还是查找所有列都可以为null的行(任何列都可以为null)?带有适当结果的示例输出将帮助人们回答
sparkDf.na.drop(how='any').show(5)
?@murtihash tks指出它,我的意思是,如果任何列都有空值,则应将其包括在内。