JobTracker在Hadoop中是否也是单点故障(除了NameNode)?

JobTracker在Hadoop中是否也是单点故障(除了NameNode)?,hadoop,Hadoop,我是Hadoop新手。在hadoop中,我知道当NameNode失败时,整个hadoop框架都会崩溃。因此,这是Hadoop中的单点故障。JobTracker也一样吗?因为如果JobTracker宕机,那么在提交作业后就没有守护进程与Namenode联系,也没有运行TaskTracker的必要。这到底是如何处理的?是的,JobTracker是MRv1中的单点故障。如果JobTracker出现故障,所有正在运行的作业都将暂停() 在YARN中,资源管理器不是单一的故障点 如果需要MRv1,可以使用

我是Hadoop新手。在hadoop中,我知道当NameNode失败时,整个hadoop框架都会崩溃。因此,这是Hadoop中的单点故障。JobTracker也一样吗?因为如果JobTracker宕机,那么在提交作业后就没有守护进程与Namenode联系,也没有运行TaskTracker的必要。这到底是如何处理的?

是的,JobTracker是MRv1中的单点故障。如果JobTracker出现故障,所有正在运行的作业都将暂停()

在YARN中,资源管理器不是单一的故障点

如果需要MRv1,可以使用MapR分发版,它提供了JobTracker高可用性()

可以在Cloudera Hadoop发行版中配置Jobtracker HA(使用主备的高可用性)。请参阅以下链接,此功能从CDH4.2.1开始提供:

也可以在Hortwonworks发行版中配置此功能


在MR2中,主服务是ResourceManager,它不是单点故障

是的,作业跟踪器是单点故障。如果namenode出现故障,辅助namenode将负责并充当namenode。在MR-II中,引入了资源管理器概念。Thread没有资源管理器,如果一个出现故障,另一个资源管理器将负责。一个资源管理器处于活动状态,其他资源管理器处于备用模式。

如果NN出现故障,则没有,而不是Hadoop Framework出现故障。框架不同,NN失效也不同。Hadoop框架是所有节点上的一个层。若名称节点关闭,框架就并没有数据应该存储在哪里,也并没有可用的存储空间。所以不可能得到真实的数据

作业跟踪器与Namenode协调以获取要处理的数据。所以当Namenode失败时,作业跟踪器也不能正常工作。所以first-namenode应该可以正常工作。在Hadoop中,这种机制称为Namenode单点故障

作业跟踪器负责作业计划和数据处理。如果作业跟踪器不工作,客户机提交作业请求,但客户机不这样做。作业应该提交到哪里,在哪里处理。但是这种逻辑(你应该提交)应该知道如何解决问题,但不知道应该提交到哪里。因此,作业跟踪器出现故障,无法处理数据和安排作业

这是问题中最大的问题。
现在Hadoop2.x解决了这两个问题。YERN在namenode级别和datanode级别没有任何单点故障。

您能告诉我在什么情况下job tracker或name node会出现故障吗?硬件故障、网络连接丢失、操作系统崩溃等等。是的,而且大部分时间都会出现故障,因为name node会进入安全模式。