Hadoop Amazon Elastic MapReduce：已启动地图任务的数量

在MapReduce作业流步骤的“syslog”中，我看到以下内容：

Job Counters
  Launched reduce tasks=4
  Launched map tasks=39

启动的映射任务数是否包括失败的任务

我使用NLineInputFormat类作为输入格式来管理地图任务的数量。 但是，对于完全相同的输入，我偶尔会得到稍微不同的数字，或者取决于实例的数量（10、15和20）

---

谁能告诉我为什么我看到不同数量的任务启动

这很可能是投机性执行。当Hadoop拥有可用资源时，它可能会选择同时运行同一任务的两次尝试。已启动的任务包括所有已启动的任务，无论这些任务后来是否成功、失败（由于异常）或被终止（由于管理干扰或推测性执行，在“更快”任务完成后终止“较慢”任务）

在两次运行之间，您的总任务-失败-终止可能是相同的

希望这有帮助