Bash Spark健康检查脚本

我计划在多节点集群上使用spark流。我需要在spark cluster上使用什么样的运行状况检查脚本。有人可以提供任何示例吗？

---

喜欢检查spark是否运行良好，或者是否有任何节点出现故障等等。

好吧，并非所有您想做的事情都是完整的

对于spark jobs，你需要决定如何处理失败。这是基于您的业务需求，例如-如果整个作业因一个坏行而失败，或者只是继续作业并积累坏记录。这将基于所有工作节点都良好的假设

根据所使用的分发，可以管理节点运行状况。Cloudera发行版提供了很多关于健康的细节，当你看到关于记忆等的红色信号时

使用oozie或任何工作流管理，您还可以配置作业失败时的电子邮件警报

---

不是所有你想做的事情都是完整的

对于spark jobs，你需要决定如何处理失败。这是基于您的业务需求，例如-如果整个作业因一个坏行而失败，或者只是继续作业并积累坏记录。这将基于所有工作节点都良好的假设

根据所使用的分发，可以管理节点运行状况。Cloudera发行版提供了很多关于健康的细节，当你看到关于记忆等的红色信号时

使用oozie或任何工作流管理，您还可以配置作业失败时的电子邮件警报

---

提供的解决方案是否回答了您的问题？如果没有，请评论为什么不在提供的解决方案下。提供的解决方案是否回答了您的问题？如果没有，请说明为什么在提供的解决方案下没有。