如何使用spark DataFrame groupBy not agg?
我想要一个spark数据帧组。但我不知道怎么做 只需使用spark来分组列。我用谷歌搜索过,发现groupBy总是使用“agg”功能。但我不需要agg,只想得到团体 如果我使用Java,例如:如何使用spark DataFrame groupBy not agg?,dataframe,apache-spark,Dataframe,Apache Spark,我想要一个spark数据帧组。但我不知道怎么做 只需使用spark来分组列。我用谷歌搜索过,发现groupBy总是使用“agg”功能。但我不需要agg,只想得到团体 如果我使用Java,例如: package spark.dataframe; import java.util.ArrayList; import java.util.List; import java.util.Map; import java.util.stream.Collectors; public class Java
package spark.dataframe;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.stream.Collectors;
public class Java {
public static void main(String[] args) {
List<A> list = new ArrayList<>();
Map<Integer, List<A>> group = list.stream().collect(Collectors.groupingBy(e -> e.getAge()));
// group type is what i want to get in spark.
}
}
class A {
private String name;
private Integer age;
public A(String name, Integer age) {
this.name = name;
this.age = age;
}
//geter
//seter
}
我想得到使用spark解决问题的答案。你能添加样本数据吗?你有什么和你在找什么?也许你在找
收集列表
?可以使用Distinct:df.select(“已装载”).Distinct
//groupBy
df1.groupBy(df1("Embarked")).count().show()
df1.groupBy(df1("Embarked")).sum("Fare").show()
df1.groupBy(df1("Embarked")).agg("Parch" -> "sum").show()
//groupBy not agg
??? todo ???