Pyspark-Sql filter-通过检查数组中是否显示id值来选择所有行
我在Pyspark中有一个数据帧,我需要选择在数组中显示id值的行。有人能帮我吗 例如:Pyspark-Sql filter-通过检查数组中是否显示id值来选择所有行,pyspark,spark-dataframe,pyspark-sql,Pyspark,Spark Dataframe,Pyspark Sql,我在Pyspark中有一个数据帧,我需要选择在数组中显示id值的行。有人能帮我吗 例如: +---+-----+ | id| col2| +---+-----+ |123| 2 | |245| 32 | | 12| 34 | |234| 1 | +---+-----+ 数组:[123、12、234] 期望结果: +---+-----+ | id| col2| +---+-----+ |123| 2 | | 12| 34 | |234| 1 | +---+-
+---+-----+
| id| col2|
+---+-----+
|123| 2 |
|245| 32 |
| 12| 34 |
|234| 1 |
+---+-----+
数组:[123、12、234]
期望结果:
+---+-----+
| id| col2|
+---+-----+
|123| 2 |
| 12| 34 |
|234| 1 |
+---+-----+
您可以将
isin
与filter
一起使用:
ids = [123, 12, 234]
df.filter(df.id.isin(ids)).show()
+---+----+
| id|col2|
+---+----+
|123| 2|
| 12| 34|
|234| 1|
+---+----+
您可以将
isin
与filter
一起使用:
ids = [123, 12, 234]
df.filter(df.id.isin(ids)).show()
+---+----+
| id|col2|
+---+----+
|123| 2|
| 12| 34|
|234| 1|
+---+----+
太完美了!Tks!太完美了!Tks!