Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
关闭前允许多个hadoop/EMR任务失败_Hadoop_Amazon Web Services_Hadoop Streaming_Elastic Map Reduce - Fatal编程技术网

关闭前允许多个hadoop/EMR任务失败

关闭前允许多个hadoop/EMR任务失败,hadoop,amazon-web-services,hadoop-streaming,elastic-map-reduce,Hadoop,Amazon Web Services,Hadoop Streaming,Elastic Map Reduce,我试图在Amazon弹性MapReduce上使用hadoop,在那里我有数千个映射任务要执行。如果一小部分任务失败了,我还可以,但是Amazon会关闭作业,当第一个映射器失败时,我会丢失所有结果。是否有一个设置可用于增加允许的失败作业数?谢谢。以下是hadoop的答案: 要使用上述EMR中的设置,请查看: 具体来说,您可以创建一个xml文件(示例中为config.xml),其中包含要更改的设置并应用引导操作: /弹性mapreduce—创建\ --引导动作s3://elasticmapred

我试图在Amazon弹性MapReduce上使用hadoop,在那里我有数千个映射任务要执行。如果一小部分任务失败了,我还可以,但是Amazon会关闭作业,当第一个映射器失败时,我会丢失所有结果。是否有一个设置可用于增加允许的失败作业数?谢谢。

以下是hadoop的答案:

要使用上述EMR中的设置,请查看:

具体来说,您可以创建一个xml文件(示例中为config.xml),其中包含要更改的设置并应用引导操作:

/弹性mapreduce—创建\ --引导动作s3://elasticmapreduce/bootstrap动作/configure hadoop\ --args“-M,s3://myawsbucket/config.xml”