Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 无法使用pyspark sql窗口函数汇总数据帧的行_Hadoop_Apache Spark_Pyspark_Apache Spark Sql_Pyspark Sql - Fatal编程技术网

Hadoop 无法使用pyspark sql窗口函数汇总数据帧的行

Hadoop 无法使用pyspark sql窗口函数汇总数据帧的行,hadoop,apache-spark,pyspark,apache-spark-sql,pyspark-sql,Hadoop,Apache Spark,Pyspark,Apache Spark Sql,Pyspark Sql,我有一个数据框,我想把数据汇总成7天,并对一些函数进行聚合。 我有一个pyspark sql数据框架,如------ 根据这一点,我在数据帧上应用了一个窗口函数,如下所示- days = lambda i: i * 86400 windowSp = Window().partitionBy(dataframeOfquery3["P_1"],dataframeOfquery3["P_2"],dataframeOfquery3["P_3"],dataframeOfquery3["G_1"],data

我有一个数据框,我想把数据汇总成7天,并对一些函数进行聚合。 我有一个pyspark sql数据框架,如------

根据这一点,我在数据帧上应用了一个窗口函数,如下所示-

days = lambda i: i * 86400
windowSp = Window().partitionBy(dataframeOfquery3["P_1"],dataframeOfquery3["P_2"],dataframeOfquery3["P_3"],dataframeOfquery3["G_1"],dataframeOfquery3["G_2"],dataframeOfquery3["G_3"])\
          .orderBy(dataframeOfquery3["Sale_Date"].cast("timestamp").cast("long").desc())\
          .rangeBetween(-(days(7)), 0)
现在我想执行一些聚合,即应用一些windows函数,如下所示--

但我无法获得所需的输出。所需输出将为-

Sale_Date,P_1,P_2,P_3,g_1,G-2,G_3,Total_Sale,Sale_Amt,Promo_Disc_Amt
|2013-04-10| 1| 9| 1| 1| 1| 1| 11| 2602.0|420.0|
|2013-04-17| 1| 9| 1| 1| 1| 1| 7| 1902.0|120.0|
|2013-04-24| 1| 9| 1| 1| 1| 1| 10| 2402.0|120.0|

但它不起作用。我一直坚持下去。如果有人能帮我解决这个问题,我将不胜感激。

@eliasah。有什么建议吗?你期望得到什么样的结果?我已经给出了我期望的样品。请看一看。我要7天的总结@你想了解更多关于这方面的信息吗?我不知道这是pyspark的bug还是我做错了什么(@eliasahI抱歉,我现在不能调查,我真的很忙,我稍后再看。
df = dataframeOfquery3.select(min(dataframeOfquery3["Sale_Date"]).over(windowSp).alias("Sale_Date"),first(dataframeOfquery3["P_1"]).over(windowSp).alias("P_1"))
Sale_Date,P_1,P_2,P_3,g_1,G-2,G_3,Total_Sale,Sale_Amt,Promo_Disc_Amt
|2013-04-10| 1| 9| 1| 1| 1| 1| 11| 2602.0|420.0|
|2013-04-17| 1| 9| 1| 1| 1| 1| 7| 1902.0|120.0|
|2013-04-24| 1| 9| 1| 1| 1| 1| 10| 2402.0|120.0|