Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/386.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java map-reduce的并行化_Java_Mapreduce - Fatal编程技术网

Java map-reduce的并行化

Java map-reduce的并行化,java,mapreduce,Java,Mapreduce,我在一个java程序中有两个独立的mapreduce作业。我怎样才能使它们并行运行。 我的系统配置是 Hadoop 2.7.1 3节点 16个物理核心,而不是使用提交作业的方法。后者将提交作业并立即返回。提交作业并等待其完成 然后,您应该使用来检查作业的完成状态。请记住,这是一个非阻塞调用,您可能希望在睡眠时间将其放入while循环 Job job1 = new Job("Job1"); Job job2 = new Job("job2"); .... // code which config

我在一个java程序中有两个独立的mapreduce作业。我怎样才能使它们并行运行。 我的系统配置是 Hadoop 2.7.1 3节点 16个物理核心,而不是使用提交作业的方法。后者将提交作业并立即返回。提交作业并等待其完成

然后,您应该使用来检查作业的完成状态。请记住,这是一个非阻塞调用,您可能希望在睡眠时间将其放入while循环

Job job1 = new Job("Job1");
Job job2 = new Job("job2");
....  // code which configure both the job objects.
//Now submit both the jobs.
job1.submit();
job2.submit();
// Wait for the completion.
while(!job1.isComplete() && !job2.isComplete()) {
     Thread.sleep(10000);
}