Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/311.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 如何优化Spark RDD操作循环?_Java_Apache Spark - Fatal编程技术网

Java 如何优化Spark RDD操作循环?

Java 如何优化Spark RDD操作循环?,java,apache-spark,Java,Apache Spark,如何优化循环中执行的RDD操作 例如: for(String x:mycollection) { //Perform something on RDD with x } 问题: 上面的代码按顺序对每个元素执行RDD操作,即使每个集合项没有依赖关系 可以对其进行优化以并行地对每个元素执行RDD操作吗 Java反射在这方面会有帮助吗?您可以使用asyncActions实现并发,也可以使用FAIR scheduler获取更多详细信息,请查看此博客,在上面的示例中,它是否会有所帮助,mycolle

如何优化循环中执行的RDD操作

例如:

  for(String x:mycollection) {
//Perform something on RDD with x
}
问题:

上面的代码按顺序对每个元素执行RDD操作,即使每个集合项没有依赖关系

可以对其进行优化以并行地对每个元素执行RDD操作吗


Java反射在这方面会有帮助吗?

您可以使用asyncActions实现并发,也可以使用FAIR scheduler获取更多详细信息,请查看此博客,在上面的示例中,它是否会有所帮助,mycollection是否是RDD?还是本地收藏?