Java Spark-Group是否使用数据帧语法?

Java Spark-Group是否使用数据帧语法?,java,sql,apache-spark,dataframe,apache-spark-sql,Java,Sql,Apache Spark,Dataframe,Apache Spark Sql,在没有sql/hiveContext的情况下,在Spark中使用groupby的语法是什么?我知道我能行 DataFrame df = some_df df.registreTempTable("df"); df1 = sqlContext.sql("SELECT * FROM df GROUP BY col1 HAVING some stuff") 但是我如何使用这样的语法呢 df.select(df.col("*")).groupBy(df.col("col1")).having(

在没有sql/hiveContext的情况下,在Spark中使用groupby的语法是什么?我知道我能行

DataFrame df = some_df
df.registreTempTable("df");    
df1 = sqlContext.sql("SELECT * FROM df GROUP BY col1 HAVING some stuff")
但是我如何使用这样的语法呢

df.select(df.col("*")).groupBy(df.col("col1")).having("some stuff")

这个
.having()
似乎不存在。

是的,它不存在。您用
agg
表示相同的逻辑,后跟
where

df.groupBy(someExpr).agg(somAgg).where(somePredicate) 

例如,如果我想在每个类别中查找费用低于3200且其计数不得低于10的产品:

  • SQL查询:
sqlContext.sql(“选择类别,计数(*)为
Hadoop考试中的计数,其中Hadoop ExamFee10“)
  • 数据帧API
从pyspark.sql.functions导入*
过滤器(df.HadoopExamFee10)
sqlContext.sql("select Category,count(*) as 
count from hadoopexam where HadoopExamFee<3200  
group by Category having count>10")
from pyspark.sql.functions import *

df.filter(df.HadoopExamFee<3200)
  .groupBy('Category')
  .agg(count('Category').alias('count'))
  .filter(column('count')>10)