Dataframe 如何在pyspark数据帧中选择或删除指定行

如何在pyspark数据帧中选择或删除指定行？

---

例如，在数据帧中删除第三行，您可以使用

where

或

filter

函数来实现此目的，如下所示：-

df.filter($"age" > 15)
df.where($"age" > 15)

更新为按列索引删除

---

可能重复indexI的“我想要删除一列”已更新了答案，如果这有帮助，请接受答案。如果不获取驱动程序中的所有行，这是不可能的，如果数据较大，将导致OOM错误。最好的方法是使用

filter

语句并以编程方式确定条件

val col = df.columns
val n   = df.columns.length 
val toBeDropped = n-1 // to drop last column  and so on..
val oldDf = df.drop(col(ToBeDropped ))