Java 在两个rdd';s
我是spark的新手,我正在用java编写spark。我有两个RDD,我从数据库中读取后得到的Java 在两个rdd';s,java,apache-spark,Java,Apache Spark,我是spark的新手,我正在用java编写spark。我有两个RDD,我从数据库中读取后得到的 ReadConfig readConfig = ReadConfig.create(sc).withOption("p", p); JavaRDD<Document> rdd1 = MongoSpark.load(sc, readConfig).persist(StorageLevel.MEMORY_ONLY()).repartition(80); ReadConfig read
ReadConfig readConfig = ReadConfig.create(sc).withOption("p", p);
JavaRDD<Document> rdd1 = MongoSpark.load(sc, readConfig).persist(StorageLevel.MEMORY_ONLY()).repartition(80);
ReadConfig readConfig1 = ReadConfig.create(sc).withOption("p", p);
JavaRDD<Document> rdd2 = MongoSpark.load(sc, readConfig1).persist(StorageLevel.MEMORY_ONLY()).repartition(80);
RDD1 is JavaRDD<String> phonenumbers
RDD2 is JavaRDD<String> phonenumbers2
ReadConfig ReadConfig=ReadConfig.create(sc).withOption(“p”,p);
JavaRDD rdd1=MongoSpark.load(sc,readConfig).persist(StorageLevel.MEMORY_ONLY()).repartition(80);
ReadConfig readConfig1=ReadConfig.create(sc).withOption(“p”,p);
JavaRDD rdd2=MongoSpark.load(sc,readConfig1).persist(StorageLevel.MEMORY_ONLY()).repartition(80);
RDD1是JavaRDD电话号码
RDD2是JavaRDD电话号码2
我想得到电话号码中的所有电话号码2。我使用了rdd1.subtract(rdd2)
,但这似乎不起作用
如何获取rdd1中的rdd2列表。您只需要
rdd1.intersection(rdd2)