Java 如何优化Spark RDD操作循环?
如何优化循环中执行的RDD操作 例如:Java 如何优化Spark RDD操作循环?,java,apache-spark,Java,Apache Spark,如何优化循环中执行的RDD操作 例如: for(String x:mycollection) { //Perform something on RDD with x } 问题: 上面的代码按顺序对每个元素执行RDD操作,即使每个集合项没有依赖关系 可以对其进行优化以并行地对每个元素执行RDD操作吗 Java反射在这方面会有帮助吗?您可以使用asyncActions实现并发,也可以使用FAIR scheduler获取更多详细信息,请查看此博客,在上面的示例中,它是否会有所帮助,mycolle
for(String x:mycollection) {
//Perform something on RDD with x
}
问题:
上面的代码按顺序对每个元素执行RDD操作,即使每个集合项没有依赖关系
可以对其进行优化以并行地对每个元素执行RDD操作吗
Java反射在这方面会有帮助吗?您可以使用asyncActions实现并发,也可以使用FAIR scheduler获取更多详细信息,请查看此博客,在上面的示例中,它是否会有所帮助,mycollection是否是RDD?还是本地收藏?