Scala ApacheSparkDataFrame:df.where()带有Java:List属性
假设您有这样一个df:Scala ApacheSparkDataFrame:df.where()带有Java:List属性,scala,apache-spark,filter,dataframe,where,Scala,Apache Spark,Filter,Dataframe,Where,假设您有这样一个df: a b 1 1 1 2 1 3 2 1 2 2 2 3 你想实现一个通用的。where functionality; 如何按列表进行筛选 val l1:List[Int] = List (1,2) df.where($"b" === l1:_*) // does not work 或者你可以问这样的问题: df.where($"a" === l1:_* && $"b" === l1:_*) 如果我没说错的话,你想在语义
a b
1 1
1 2
1 3
2 1
2 2
2 3
你想实现一个通用的。where functionality;
如何按列表进行筛选
val l1:List[Int] = List (1,2)
df.where($"b" === l1:_*) // does not work
或者你可以问这样的问题:
df.where($"a" === l1:_* && $"b" === l1:_*)
如果我没说错的话,你想在语义学上:
df.where($"b" isin (l1: _*)).show()
+---+---+
| a| b|
+---+---+
| 1| 1|
| 1| 2|
| 2| 1|
| 2| 2|
+---+---+
及
如果我没说错的话,你想在语义学上:
df.where($"b" isin (l1: _*)).show()
+---+---+
| a| b|
+---+---+
| 1| 1|
| 1| 2|
| 2| 1|
| 2| 2|
+---+---+
及