如何使用spark DataFrame groupBy not agg?

如何使用spark DataFrame groupBy not agg?,dataframe,apache-spark,Dataframe,Apache Spark,我想要一个spark数据帧组。但我不知道怎么做 只需使用spark来分组列。我用谷歌搜索过,发现groupBy总是使用“agg”功能。但我不需要agg,只想得到团体 如果我使用Java,例如: package spark.dataframe; import java.util.ArrayList; import java.util.List; import java.util.Map; import java.util.stream.Collectors; public class Java

我想要一个spark数据帧组。但我不知道怎么做

只需使用spark来分组列。我用谷歌搜索过,发现groupBy总是使用“agg”功能。但我不需要agg,只想得到团体

如果我使用Java,例如:

package spark.dataframe;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.stream.Collectors;

public class Java {
    public static void main(String[] args) {
        List<A> list = new ArrayList<>();
        Map<Integer, List<A>> group = list.stream().collect(Collectors.groupingBy(e -> e.getAge()));
        // group type is what i want to get in spark.
    }
}

class A {
    private String name;
    private Integer age;

    public A(String name, Integer age) {
        this.name = name;
        this.age = age;
    }
    //geter
    //seter
}

我想得到使用spark解决问题的答案。

你能添加样本数据吗?你有什么和你在找什么?也许你在找
收集列表
?可以使用Distinct:df.select(“已装载”).Distinct
    //groupBy
    df1.groupBy(df1("Embarked")).count().show()
    df1.groupBy(df1("Embarked")).sum("Fare").show()
    df1.groupBy(df1("Embarked")).agg("Parch" -> "sum").show()

    //groupBy not agg
    ??? todo ???