Exception Hadoop作业未被杀死

我的作业在map reduce步骤之前有一些异常，但作业不会被杀死。如何配置hadoop，使作业在异常后被终止

现在调用主类

心跳 心跳

主类的调用已完成

Oozie发射端

标准测井曲线

org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is org.apache.commons.dbcp.SQLNestedException: Cannot create PoolableConnectionFactory (Io exception: Unknown host specified )
    at org.springframework.jdbc.datasource.DataSourceUtils.getConnection(DataSourceUtils.java:82)
    at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:577)
    at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:792)
    at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:815)
    at com.seven.crcs.export.dao.ReportDAOImpl.recreateReportEntity(ReportDAOImpl.java:151)
    at com.seven.crcs.export.dao.ReportDAOImpl.saveActiveUserCount(ReportDAOImpl.java:93)
    at com.seven.crcs.export.ReportJdbcExporter.saveActiveUserCount(ReportJdbcExporter.java:55)
    at com.seven.dataprocessor.oc.jobs.reports.export.day.ExportDailyUserReducer.exportUserCounts(ExportDailyUserReducer.java:32)
    at com.seven.dataprocessor.oc.jobs.reports.export.ExportActiveUser
org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is org.apache.commons.dbcp.SQLNestedException: Cannot create PoolableConnectionFactory (Io exception: Unknown host specified )

及

---

但作业完成成功

您的作业实际上已终止，但仅在任务ID显示的映射任务尝试3次失败之后：

• 尝试\u 201302270945\u 0181\u r\u000000\u0
• 尝试\u 201302270945\u 0181\u r\u000000\u1
• 尝试\u 201302270945\u 0181\u r\u000000\u2

您可以通过将

mapred.map.max.attempts

设置为

1

或使用来限制每个任务的最大尝试次数

---

这将导致映射任务在第一个异常时失败，从而更快地终止作业。

显示异常详细信息我设置此参数，但我的作业不会写入异常并成功完成。请尝试将失败映射的最大百分比设置为0:

jobConf.setMaxMapTaskFailuresPercent（0）

和

jobConf.setMaxReduceTaskFailuresPercent（0）

。根据定义，它应该在第一个失败的映射或reduce任务上立即将作业标记为失败。我不使用类JobConf，我使用类job。

JobConf

扩展了

Configuration

，并且可以在创建

job

的实例时使用。我不能使用JobConf，只能使用类job。

2013-02-28 06:06:46,487 INFO org.apache.hadoop.mapred.JobClient: Task Id : attempt_201302270945_0181_r_000000_0, Status : FAILED
2013-02-28 06:07:00,600 INFO org.apache.hadoop.mapred.JobClient: Task Id : attempt_201302270945_0181_r_000000_1, Status : FAILED
2013-02-28 06:07:16,650 INFO org.apache.hadoop.mapred.JobClient: Task Id : attempt_201302270945_0181_r_000000_2, Status : FAILED
2013-02-28 06:07:31,731 INFO org.apache.hadoop.mapred.JobClient: Job complete: job_201302270945_0181