Python Pyspark dataframe:在一列上求和,而在另一列上分组
我有一个如下所示的数据帧Python Pyspark dataframe:在一列上求和,而在另一列上分组,python,apache-spark-sql,pyspark,pyspark-sql,apache-spark-1.3,Python,Apache Spark Sql,Pyspark,Pyspark Sql,Apache Spark 1.3,我有一个如下所示的数据帧 In [94]: prova_df.show() order_item_order_id order_item_subtotal 1 299.98 2 199.99 2 250.0 2 129.99 4
In [94]: prova_df.show()
order_item_order_id order_item_subtotal
1 299.98
2 199.99
2 250.0
2 129.99
4 49.98
4 299.95
4 150.0
4 199.92
5 299.98
5 299.95
5 99.96
5 299.98
我想做的是,对于第一列的每个不同值,计算第二列对应值的和。
我已尝试使用以下代码执行此操作:
from pyspark.sql import functions as func
prova_df.groupBy("order_item_order_id").agg(func.sum("order_item_subtotal")).show()
它给出了一个输出
SUM('order_item_subtotal)
129.99000549316406
579.9500122070312
199.9499969482422
634.819995880127
434.91000747680664
我不确定它是否做对了。
为什么它不同时显示第一列的信息?
提前感谢您的回答
为什么它不同时显示第一列的信息
很可能是因为您使用的是过时的Spark 1.3.x。如果是这种情况,您必须重复agg
中的分组列,如下所示:
(df
.groupBy("order_item_order_id")
.agg(func.col("order_item_order_id"), func.sum("order_item_subtotal"))
.show())
您可以在窗口函数中使用分区:
from pyspark.sql import Window
df.withColumn("value_field", f.sum("order_item_subtotal") \
.over(Window.partitionBy("order_item_order_id"))) \
.show()
使用PySpark 2.7.x解决问题的类似解决方案如下所示:
df = spark.createDataFrame(
[(1, 299.98),
(2, 199.99),
(2, 250.0),
(2, 129.99),
(4, 49.98),
(4, 299.95),
(4, 150.0),
(4, 199.92),
(5, 299.98),
(5, 299.95),
(5, 99.96),
(5, 299.98)],
['order_item_order_id', 'order_item_subtotal'])
df.groupBy('order_item_order_id').sum('order_item_subtotal').show()
这将导致以下输出:
+-------------------+------------------------+
|order_item_order_id|sum(order_item_subtotal)|
+-------------------+------------------------+
| 5| 999.8700000000001|
| 1| 299.98|
| 2| 579.98|
| 4| 699.85|
+-------------------+------------------------+
这里的value_字段是什么?只是一个您希望列命名的任意字符串