Apache spark Pyspark中的数据帧

Apache spark Pyspark中的数据帧,apache-spark,pyspark,bigdata,Apache Spark,Pyspark,Bigdata,我刚从dataframe中删除了一列。它掉了。调用show方法后,数据帧中似乎并没有删除列 代码: 我使用的是spark 2.4.4版本。你能告诉我为什么它没有掉下来吗?我认为这就像在oracle数据库中删除列表单表。drop方法返回一个新的数据帧。此转换不会更改原始df,因此再次调用df.show将返回原始数据和薪资列。删除后需要保存数据帧 df2 = df.drop('Salary') df2.show() 它不会改变数据帧,它将创建一个新的数据帧,保持df不变 df2 = df.drop

我刚从dataframe中删除了一列。它掉了。调用show方法后,数据帧中似乎并没有删除列

代码:


我使用的是spark 2.4.4版本。你能告诉我为什么它没有掉下来吗?我认为这就像在oracle数据库中删除列表单表。

drop方法返回一个新的数据帧。此转换不会更改原始df,因此再次调用df.show将返回原始数据和薪资列。

删除后需要保存数据帧

df2 = df.drop('Salary')
df2.show()

它不会改变数据帧,它将创建一个新的数据帧,保持df不变
df2 = df.drop('Salary')
df2.show()