Apache spark 结合RDD和x27；这是一个循环

以下是我的设想：

我有一个名为fileNamesList的RDD列表

List<JavaRDD<Tuple2<String, String>>> fileNamesList = new ArrayList<JavaRDD<Tuple2<String, String>>>();

fileNamesList.add(newRDD); //adding RDD's to list

---

或者我可以使用的其他选项是什么。

使用SparkContext.union或JavaSparkContext.union。它可以结合许多RDD，从而使DAG更简单。看

JavaPairRDD<String, String> finalFileNames ;

    for (int j = 0; j < IdList.size()-1; j++) {


        finalFileNames = JavaPairRDD.fromJavaRDD(fileNamesList.get(j)).
                union(JavaPairRDD.fromJavaRDD(fileNamesList.get(j + 1)));
    }