Dataframe 如何向Spark数据框添加一列,其中包含mean和count等聚合?

Dataframe 如何向Spark数据框添加一列,其中包含mean和count等聚合?,dataframe,group-by,pyspark,pyspark-sql,Dataframe,Group By,Pyspark,Pyspark Sql,这是我的代码: DF = DF.withColumn("MAX",DF.groupBy("NUM_TIERS").max()) 它给了我以下错误: 中的AssertionError回溯(最后一次最近调用) /中的usr/local/ceral/spark/python/pyspark/sql/dataframe.py withColumn(self、colName、col)1986 1987“” ->1988断言isinstance(col,Column),“col应该是Column”1989

这是我的代码:

DF = DF.withColumn("MAX",DF.groupBy("NUM_TIERS").max())
它给了我以下错误:

中的AssertionError回溯(最后一次最近调用)

/中的usr/local/ceral/spark/python/pyspark/sql/dataframe.py withColumn(self、colName、col)1986 1987“” ->1988断言isinstance(col,Column),“col应该是Column”1989返回数据帧(self.\u jdf.withColumn)(colName,col.\u jc), self.sql_ctx)1990

AssertionError:列应为列


我无法理解您的问题,但根据我的理解,是的,请检查一下

from pyspark.sql.functions import lit
DF=DF.withColumn("MAX",lit(DF.groupBy("NUM_TIERS").max().count()))

您想将这些列的最大值插入原始数据帧吗?您可以加入具有聚合的新数据帧是的,我想将这些列的最大值插入原始数据帧。请查看此@AkhilBatrathank you@Anuj。您的回答很有帮助,但我不想得到.max().count()。请查看此图像: