Java map-reduce的并行化
我在一个java程序中有两个独立的mapreduce作业。我怎样才能使它们并行运行。 我的系统配置是 Hadoop 2.7.1 3节点 16个物理核心,而不是使用提交作业的方法。后者将提交作业并立即返回。提交作业并等待其完成 然后,您应该使用来检查作业的完成状态。请记住,这是一个非阻塞调用,您可能希望在睡眠时间将其放入while循环Java map-reduce的并行化,java,mapreduce,Java,Mapreduce,我在一个java程序中有两个独立的mapreduce作业。我怎样才能使它们并行运行。 我的系统配置是 Hadoop 2.7.1 3节点 16个物理核心,而不是使用提交作业的方法。后者将提交作业并立即返回。提交作业并等待其完成 然后,您应该使用来检查作业的完成状态。请记住,这是一个非阻塞调用,您可能希望在睡眠时间将其放入while循环 Job job1 = new Job("Job1"); Job job2 = new Job("job2"); .... // code which config
Job job1 = new Job("Job1");
Job job2 = new Job("job2");
.... // code which configure both the job objects.
//Now submit both the jobs.
job1.submit();
job2.submit();
// Wait for the completion.
while(!job1.isComplete() && !job2.isComplete()) {
Thread.sleep(10000);
}