Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何在spark数据帧上使用超前滞后窗口进行过滤?_Apache Spark_Dataframe_Filter_Window_Apache Spark Sql - Fatal编程技术网

Apache spark 如何在spark数据帧上使用超前滞后窗口进行过滤?

Apache spark 如何在spark数据帧上使用超前滞后窗口进行过滤?,apache-spark,dataframe,filter,window,apache-spark-sql,Apache Spark,Dataframe,Filter,Window,Apache Spark Sql,filter功能选择Spark数据框中满足特定条件的所有行。如果选择了满足筛选条件的行的上方和下方的一组行,我将如何进行窗口筛选?例如,我有以下数据帧myDF: A B 1 1 2 12 3 13 4 14 5 10 6 17 7 34 8 12 9 1 10 7 11 1 现在我想写一些类似于myDF.orderBy($“A”).myWindowFilter(“B”==12,2)的东西,它将为我提供以下数据帧(2是滞后/

filter
功能选择Spark数据框中满足特定条件的所有行。如果选择了满足筛选条件的行的上方和下方的一组行,我将如何进行窗口筛选?例如,我有以下数据帧
myDF

A    B
1    1
2    12
3    13
4    14
5    10
6    17
7    34
8    12
9    1
10    7
11    1
现在我想写一些类似于
myDF.orderBy($“A”).myWindowFilter(“B”==12,2)
的东西,它将为我提供以下数据帧(2是滞后/超前宽度):

如何在Scala/Spark中实现这样的函数
myWindowFilter

A    B
1    1
2    12
3    13
4    14
6    17
7    34
8    12
9    1
10    7