Hadoop Tasktracker 1能否运行多个JVM

Hadoop Tasktracker 1能否运行多个JVM,hadoop,Hadoop,1 Tasktracker能否运行多个JVM 以下是场景: 假设有2个文件(A和B)和2个数据节点(D1和D2) 加载A时,假设它在D1和D2上拆分为A1和A2 当你加载B时,假设它在D1和D2上被分成B1和B2 出于某种原因,让我们假设D1正忙于其他任务 D2可用,并且提交了两个作业, 一个使用文件A,另一个使用文件B 所以现在D2可用,并且有A2和B2块。 JobTracker是否会将代码提交给D2上的TaskTracker,并一次或多次为A2和B2运行任务 它会先运行A2,然后在完成后运行

1 Tasktracker能否运行多个JVM

以下是场景:

假设有2个文件(A和B)和2个数据节点(D1和D2)

加载A时,假设它在D1和D2上拆分为A1和A2 当你加载B时,假设它在D1和D2上被分成B1和B2

出于某种原因,让我们假设D1正忙于其他任务 D2可用,并且提交了两个作业, 一个使用文件A,另一个使用文件B

所以现在D2可用,并且有A2和B2块。 JobTracker是否会将代码提交给D2上的TaskTracker,并一次或多次为A2和B2运行任务 它会先运行A2,然后在完成后运行B2吗


如果是这样,是否可以同时运行这两个任务(即1个TaskTracker和2个JVM),或者它是否会在D2上创建/生成2个TaskTracker?

默认情况下,TaskTracker为每个任务生成一个JVM。 您可以通过设置以下配置参数来重用jvm:mapred.job.reuse.jvm.num.tasks

任务跟踪器(TT)可以在一台机器上并行启动多个映射或减少任务。默认情况下,TT启动2个映射(mapreduce.tasktracker.map.tasks.max)和2个reduce(mapreduce.tasktracker.reduce.tasks.max)任务。必须在中配置属性