Apache spark Spark,groupby返回了什么?
spark中Apache spark Spark,groupby返回了什么?,apache-spark,pyspark,Apache Spark,Pyspark,spark中groupBy和agg的返回值是多少? (这是《熊猫》中令人困惑的部分之一,我从来没有得到过,我猜这与《星火》相似) 即使当你在上面做.show()的时候它看起来像一个普通的数据帧,我相信它不是一个数据帧。(因为如果你在开头的.agg之后再做一次.agg,事情会变得很奇怪 那么,groupBy返回什么和agg返回什么呢?根据Spark文档,Dataframe.groupBy方法返回一个GroupData对象,该对象基本上具有聚合方法,如agg,count,sum,avg,等等(和其他
groupBy
和agg
的返回值是多少?
(这是《熊猫》中令人困惑的部分之一,我从来没有得到过,我猜这与《星火》相似)
即使当你在上面做.show()
的时候它看起来像一个普通的数据帧,我相信它不是一个数据帧。(因为如果你在开头的.agg
之后再做一次.agg
,事情会变得很奇怪
那么,
groupBy
返回什么和agg
返回什么呢?根据Spark文档,Dataframe.groupBy
方法返回一个GroupData
对象,该对象基本上具有聚合方法,如agg
,count
,sum
,avg
,等等(和其他的)返回一个DataFrame
有关更多详细信息,请查看以下文档链接:和
希望这有帮助
df.groupBy("col1").agg(max("col2").alias("col2_max"))