Apache spark 填充行(使用移动平均数)是Spark SQL 1.6.0插补行
我有像DF这样的数据,我想用第2列的移动平均值填充行(最后2个窗口),直到2000年达到第1列 输入数据帧:Apache spark 填充行(使用移动平均数)是Spark SQL 1.6.0插补行,apache-spark,apache-spark-sql,spark-dataframe,Apache Spark,Apache Spark Sql,Spark Dataframe,我有像DF这样的数据,我想用第2列的移动平均值填充行(最后2个窗口),直到2000年达到第1列 输入数据帧: Column1 column2 column3 100 2 89 200 6 102 300 10 105 400 15 125 Column1 column2 column3 100 2 89 200 6 10
Column1 column2 column3
100 2 89
200 6 102
300 10 105
400 15 125
Column1 column2 column3
100 2 89
200 6 102
300 10 105
400 15 125
500 (10+15)/2 (105+ 125) /2
600 (15 + 25/2)/2 (125+ 230/2 )/2
预期结果数据帧:
Column1 column2 column3
100 2 89
200 6 102
300 10 105
400 15 125
Column1 column2 column3
100 2 89
200 6 102
300 10 105
400 15 125
500 (10+15)/2 (105+ 125) /2
600 (15 + 25/2)/2 (125+ 230/2 )/2
看看这里@david Griffin谢谢你的帖子。。。在我的示例场景中,我需要保持行直到column1的值为400。但从column1值500到20000,我需要生成行,取最后两个值的平均值。。。