Pyspark EMR群集在几天后自动终止

Pyspark EMR群集在几天后自动终止,pyspark,amazon-emr,amazon-kinesis,Pyspark,Amazon Emr,Amazon Kinesis,我有一个AWS EMR集群正在执行spark流媒体作业。它从Kinesis流中获取流数据并进行处理。它可以正常工作几天,但12-15天后集群会自动终止。我签入了“事件”选项卡,它显示 群集因步骤_失败而出现错误而终止。 有人知道当步骤成功运行几天时为什么会出现步骤失败吗?转到EMR控制台,检查步骤选项。如果设置如下: 然后,当步骤失败时,集群将终止。是,它表示步骤失败。但是,如果一个步骤在几天内工作正常,怎么会失败呢?请检查日志并找出原因。无论发生什么情况,您都应该捕获异常。谢谢,我检查了日志

我有一个AWS EMR集群正在执行spark流媒体作业。它从Kinesis流中获取流数据并进行处理。它可以正常工作几天,但12-15天后集群会自动终止。我签入了“事件”选项卡,它显示 群集因步骤_失败而出现错误而终止。


有人知道当步骤成功运行几天时为什么会出现步骤失败吗?

转到EMR控制台,检查步骤选项。如果设置如下:


然后,当步骤失败时,集群将终止。

是,它表示步骤失败。但是,如果一个步骤在几天内工作正常,怎么会失败呢?请检查日志并找出原因。无论发生什么情况,您都应该捕获异常。谢谢,我检查了日志并找到了步骤失败的原因。请在步骤选项卡下的
日志文件
列中检查日志。检查stderr和stdout以查找步骤失败的原因。这将帮助您理解该步骤失败的原因。如果出现问题,任何时候步骤都可能失败。您可以在日志中找到失败的原因。谢谢,我检查了日志文件,找到了步骤失败的原因。酷。那很好。快乐学习:)
Action on failure:Terminate cluster