Apache spark 基于spark中的值删除重复关键点
假设我通过并行化键值对列表[（1,4），（2,3），（1,1），（1,0），（2,0）]得到了一个RDD，我想基于它们的值删除具有相同键的元组（因此对于具有相同键的元组，只有具有最低值的元组保持不变）。所以我想应用一个转换，使得RDD最终由[（1,0），（2,0）]表示（只要删除了正确的副本，我不关心这里的排序）。目前，我正在做的是打电话Apache spark 基于spark中的值删除重复关键点,apache-spark,Apache Spark,假设我通过并行化键值对列表[（1,4），（2,3），（1,1），（1,0），（2,0）]得到了一个RDD，我想基于它们的值删除具有相同键的元组（因此对于具有相同键的元组，只有具有最低值的元组保持不变）。所以我想应用一个转换，使得RDD最终由[（1,0），（2,0）]表示（只要删除了正确的副本，我不关心这里的排序）。目前，我正在做的是打电话 RDD = RDD.map(lambda (x, y): (y, x)).sortByKey().map(lambda (x, y): (y, x)).red
RDD = RDD.map(lambda (x, y): (y, x)).sortByKey().map(lambda (x, y): (y, x)).reduceByKey(lambda x, y: x)
rdd.reduceByKey（Math.min（，））rdd.reduceByKey（lambda（x，y）：min（x，y））rdd.reduceByKey（Math.min（u，u））