Python 如何使用滚动窗口函数计算Pyspark数据帧中等于某个值的相邻值的数量?
可以使用以下方法创建示例数据帧:Python 如何使用滚动窗口函数计算Pyspark数据帧中等于某个值的相邻值的数量?,python,apache-spark,pyspark,pyspark-dataframes,Python,Apache Spark,Pyspark,Pyspark Dataframes,可以使用以下方法创建示例数据帧: from pyspark.sql.functions import col from pyspark.sql.window import Window df = sc.parallelize([['2019-08-29 01:00:00',0], ['2019-08-29 02:00:00',0], ['2019-08-29 03:0
from pyspark.sql.functions import col
from pyspark.sql.window import Window
df = sc.parallelize([['2019-08-29 01:00:00',0],
['2019-08-29 02:00:00',0],
['2019-08-29 03:00:00',0],
['2019-08-29 04:00:00',1],
['2019-08-29 05:00:00',2],
['2019-08-29 06:00:00',3],
['2019-08-29 07:00:00',0],
['2019-08-29 08:00:00',2],
['2019-08-29 09:00:00',0],
['2019-08-29 10:00:00',1]]).toDF(['DATETIME','VAL']).withColumn('DATETIME',col('DATETIME').cast('timestamp'))
我希望生成一个列,其计数等于3小时内0个值的出现次数(+/-当前时间的1小时,包括当前值)。可以使用以下方法创建窗口:
w1 = (Window()
.orderBy(col('DATETIME').cast('long'))
.rangeBetween(-(60*60), 60*60))
预期结果:
+-------------------+---+---+
| DATETIME|VAL|NUM|
+-------------------+---+---+
|2019-08-29 01:00:00| 0| 2|
|2019-08-29 02:00:00| 0| 3|
|2019-08-29 03:00:00| 0| 2|
|2019-08-29 04:00:00| 1| 1|
|2019-08-29 05:00:00| 2| 0|
|2019-08-29 06:00:00| 3| 1|
|2019-08-29 07:00:00| 0| 1|
|2019-08-29 08:00:00| 2| 2|
|2019-08-29 09:00:00| 0| 1|
|2019-08-29 10:00:00| 1| 1|
+-------------------+---+---+
如果每个DATETIME只有一个条目,则可以使用lead和lag函数获取上一个和下一个值,然后可以计算零
from pyspark.sql.functions import udf, array, col
from pyspark.sql.types import IntegerType
count_zeros_udf = udf(lambda arr: arr.count(0), IntegerType())
df.withColumn('lag1', f.lag(col('VAL'), 1, -1).over(Window.orderBy("DATETIME"))) # Get the previous value
.withColumn('lag2', f.lead(col('VAL'), 1, -1).over(Window.orderBy("DATETIME"))) # Get the next value
.withColumn('NUM', count_zeros_udf(array('VAL', 'lag1', 'lag2'))) # Count zeros using the udf
.drop('lag1', 'lag2') # Drop the extra columns
.show()
+-------------------+---+---+
| DATETIME|VAL|NUM|
+-------------------+---+---+
|2019-08-29 01:00:00| 0| 2|
|2019-08-29 02:00:00| 0| 3|
|2019-08-29 03:00:00| 0| 2|
|2019-08-29 04:00:00| 1| 1|
|2019-08-29 05:00:00| 2| 0|
|2019-08-29 06:00:00| 3| 1|
|2019-08-29 07:00:00| 0| 1|
|2019-08-29 08:00:00| 2| 2|
|2019-08-29 09:00:00| 0| 1|
|2019-08-29 10:00:00| 1| 1|
+-------------------+---+---+
使用pyspark>=2.4,您可以在窗口上使用UDF和pandas-UDF,如下所述
. 不幸的是,我没有pyspark 2.4或更高版本,因此无法测试它