关闭前允许多个hadoop/EMR任务失败
我试图在Amazon弹性MapReduce上使用hadoop,在那里我有数千个映射任务要执行。如果一小部分任务失败了,我还可以,但是Amazon会关闭作业,当第一个映射器失败时,我会丢失所有结果。是否有一个设置可用于增加允许的失败作业数?谢谢。以下是hadoop的答案: 要使用上述EMR中的设置,请查看: 具体来说,您可以创建一个xml文件(示例中为config.xml),其中包含要更改的设置并应用引导操作: /弹性mapreduce—创建\ --引导动作s3://elasticmapreduce/bootstrap动作/configure hadoop\ --args“-M,s3://myawsbucket/config.xml”关闭前允许多个hadoop/EMR任务失败,hadoop,amazon-web-services,hadoop-streaming,elastic-map-reduce,Hadoop,Amazon Web Services,Hadoop Streaming,Elastic Map Reduce,我试图在Amazon弹性MapReduce上使用hadoop,在那里我有数千个映射任务要执行。如果一小部分任务失败了,我还可以,但是Amazon会关闭作业,当第一个映射器失败时,我会丢失所有结果。是否有一个设置可用于增加允许的失败作业数?谢谢。以下是hadoop的答案: 要使用上述EMR中的设置,请查看: 具体来说,您可以创建一个xml文件(示例中为config.xml),其中包含要更改的设置并应用引导操作: /弹性mapreduce—创建\ --引导动作s3://elasticmapred