Hadoop 当MapReduce作业运行时,要查找什么?

Hadoop 当MapReduce作业运行时,要查找什么?,hadoop,mapreduce,hive,cluster-computing,health-monitoring,Hadoop,Mapreduce,Hive,Cluster Computing,Health Monitoring,我刚开始使用Hadoop,我很想知道 触发Map Reduce作业(例如通过Hive或Snapplex)时需要考虑哪些因素,以确保集群稳定,并且该作业不会对集群产生任何重大影响 在哪里可以找到所有这些检查点?是否有任何标准阈值可以跟踪 基本上是一个系统健康检查,以确保我们构建的MR作业是干净的 欣赏任何见解Hadoop通常包括用于监视目的的NameNode和JobTracker Webinterface NameNode UI为您提供了可用节点、总体集群容量以及死节点的概述 JobTracker

我刚开始使用Hadoop,我很想知道

触发Map Reduce作业(例如通过Hive或Snapplex)时需要考虑哪些因素,以确保集群稳定,并且该作业不会对集群产生任何重大影响

在哪里可以找到所有这些检查点?是否有任何标准阈值可以跟踪

基本上是一个系统健康检查,以确保我们构建的MR作业是干净的


欣赏任何见解

Hadoop通常包括用于监视目的的NameNode和JobTracker Webinterface

NameNode UI为您提供了可用节点、总体集群容量以及死节点的概述

JobTracker UI概述了正在运行和失败的作业及其日志输出

对NameNode的默认访问权限是通过。 工作追踪者: (这可能因您使用的hadoop发行版而异)