Apache spark groupByKey和distinct VS combineByKey_Apache Spark_Group By_Distinct

Apache spark groupByKey和distinct VS combineByKey

apache-spark

Apache spark groupByKey和distinct VS combineByKey,apache-spark,group-by,distinct,Apache Spark,Group By,Distinct,我正在学习Spark，并做一些“练习” 在某种程度上，我有一个包含重复项的JavaPairRDD。我的目标是按键分组并删除重复项我认为（至少）有两种可能性：使用distinct（）和groupByKey（）使用combineByKey（）并确保只添加以前没有的元素（例如，结果可能是JavaPairRDD）我使用了第二种方法（避免使用distinct（）进行洗牌），但后来发现原来的“解决方案”是第一种您认为哪种解决方案最有效

我正在学习Spark，并做一些“练习”

在某种程度上，我有一个包含重复项的JavaPairRDD。我的目标是按键分组并删除重复项

我认为（至少）有两种可能性：

使用distinct（）和groupByKey（）

使用combineByKey（）并确保只添加以前没有的元素（例如，结果可能是JavaPairRDD）

我使用了第二种方法（避免使用distinct（）进行洗牌），但后来发现原来的“解决方案”是第一种

您认为哪种解决方案最有效