Apache spark 如何在spark数据帧上使用超前滞后窗口进行过滤?
Apache spark 如何在spark数据帧上使用超前滞后窗口进行过滤?,apache-spark,dataframe,filter,window,apache-spark-sql,Apache Spark,Dataframe,Filter,Window,Apache Spark Sql,filter功能选择Spark数据框中满足特定条件的所有行。如果选择了满足筛选条件的行的上方和下方的一组行,我将如何进行窗口筛选?例如,我有以下数据帧myDF: A B 1 1 2 12 3 13 4 14 5 10 6 17 7 34 8 12 9 1 10 7 11 1 现在我想写一些类似于myDF.orderBy($“A”).myWindowFilter(“B”==12,2)的东西,它将为我提供以下数据帧(2是滞后/
filter
功能选择Spark数据框中满足特定条件的所有行。如果选择了满足筛选条件的行的上方和下方的一组行,我将如何进行窗口筛选?例如,我有以下数据帧myDF
:
A B
1 1
2 12
3 13
4 14
5 10
6 17
7 34
8 12
9 1
10 7
11 1
现在我想写一些类似于myDF.orderBy($“A”).myWindowFilter(“B”==12,2)
的东西,它将为我提供以下数据帧(2是滞后/超前宽度):
如何在Scala/Spark中实现这样的函数myWindowFilter
A B
1 1
2 12
3 13
4 14
6 17
7 34
8 12
9 1
10 7