Python PySpark：如何在PySpark变换中指定dropna轴？_Python_Dataframe_Pyspark_Null_Nan

Python PySpark：如何在PySpark变换中指定dropna轴？

python dataframe pyspark

Python PySpark：如何在PySpark变换中指定dropna轴？,python,dataframe,pyspark,null,nan,Python,Dataframe,Pyspark,Null,Nan,我想使用dropna（）删除包含所有空值的列。使用Pandas，您可以在dropna（）中设置关键字参数axis='columns'。GitHub帖子中的一个示例在PySpark中如何执行此操作dropna（）在PySpark中作为转换提供，但是axis不是一个转换注意：我不想为了这个工作而转置我的数据帧如何从该数据框中删除家具列 data_2 = { 'furniture': [np.NaN ,np.NaN ,np.NaN], 'myid': ['1-12', '0-11', '2-12

我想使用

dropna（）

删除包含所有空值的列。使用Pandas，您可以在

dropna（）

中设置关键字参数

axis='columns'

。GitHub帖子中的一个示例

在PySpark中如何执行此操作

dropna（）

在PySpark中作为转换提供，但是

axis

不是一个转换

注意：我不想为了这个工作而转置我的数据帧

如何从该数据框中删除家具列

data_2 = { 'furniture': [np.NaN ,np.NaN ,np.NaN], 'myid': ['1-12', '0-11', '2-12'], 'clothing': ["pants", "shoes", "socks"]} 

df_1 = pd.DataFrame(data_2)
ddf_1 = spark.createDataFrame(df_1)
ddf_1.show()