Spark Java:显示连接RDD
我正在尝试加入两个PAIRDDS,如下所示,而 lat1:K,V->K-整数,V-双精度 lat2:K,V->K-整数,V-双精度Spark Java:显示连接RDD,java,join,apache-spark,rdd,keyvaluepair,Java,Join,Apache Spark,Rdd,Keyvaluepair,我正在尝试加入两个PAIRDDS,如下所示,而 lat1:K,V->K-整数,V-双精度 lat2:K,V->K-整数,V-双精度 JavaPairRDD<Integer,Tuple2<Double,Double>> latlong = lat.join(long); javapairdd latlong=lat.join(long); 我假设新的RDD是K,[V1,V2],我想显示新的RDD 如果我想基于值进行操作,那么执行的方式是什么 请在Spark Jav
JavaPairRDD<Integer,Tuple2<Double,Double>> latlong = lat.join(long);
javapairdd latlong=lat.join(long);
我假设新的RDD是K,[V1,V2],我想显示新的RDD
如果我想基于值进行操作,那么执行的方式是什么
请在Spark Java Api中提出建议
注意:我已经看到很多答案都是用scala实现的,但我的要求是用Spark文档中的JAVa实现: 当对(K,V)和(K,W)类型的数据集调用join时,返回一个(K,(V,W))对的数据集,其中每个键都有所有元素对 所以你的假设是正确的:
JavaPairRDD<Integer,Tuple2<Double,Double>> latlong = lat.join(long);
你能建议如何将(K,(V,W))转换成(K,V-W)吗?我编辑了我的帖子,并添加了一个
mapValues()
用法示例。