Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/dart/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Dataframe groupby和const division中的Pyspark数据帧和聚合_Dataframe_Pyspark - Fatal编程技术网

Dataframe groupby和const division中的Pyspark数据帧和聚合

Dataframe groupby和const division中的Pyspark数据帧和聚合,dataframe,pyspark,Dataframe,Pyspark,假设具有如下数据帧: Day Hour Values Monday 7 65 Monday 8 66 Monday 9 66 Tuesday 7 68 Tuesday 9 68 Tuesday 10 58 我可以按天和小时分组,并将值相加如下: groupby('Day', 'Hour').agg(F.sum('Values').alias('Valu

假设具有如下数据帧:

 Day     Hour     Values
Monday    7        65      
Monday    8        66
Monday    9        66
Tuesday   7        68
Tuesday   9        68
Tuesday   10       58 
我可以按天和小时分组,并将值相加如下:

groupby('Day', 'Hour').agg(F.sum('Values').alias('Values')) 
如果我想同时使用自定义常量值对和进行除法,该怎么办

简单的方法是在groupby之后执行以下操作:

df.withColumn('Values', F.col("Values")/constant)

是否有更好的方法将此表达式组合到聚合中?

您可以就地执行:

df_origin.groupby('Day', 'Hour').agg((F.sum('Values') / constant).alias('Values'))

嗯,我也是这么想的,但结果不一样你是什么意思?我在两种情况下得到相同的结果