Apache spark Oozie:在超时后杀死一个工作
抱歉，无法找到需要的配置点。我计划spark应用程序，有时它们可能在1小时后不会成功，在这种情况下，我希望自动终止此任务（因为我确信它永远不会成功，并且可能会启动另一个计划） 我发现了超时配置，但据我所知，它用于延迟工作流的启动Apache spark Oozie:在超时后杀死一个工作,apache-spark,timeout,oozie,Apache Spark,Timeout,Oozie,抱歉，无法找到需要的配置点。我计划spark应用程序，有时它们可能在1小时后不会成功，在这种情况下，我希望自动终止此任务（因为我确信它永远不会成功，并且可能会启动另一个计划） 我发现了超时配置，但据我所知，它用于延迟工作流的启动 那么是否存在一种活生生的“超时”呢？Oozie无法终止它触发的工作流。但是，通过在协调器中设置Concurrency=1，可以确保单个工作流同时运行。 您还可以使用第二个Oozie工作流来监视Spark作业的状态 无论如何，您应该调查Spark作业未成功或被阻止的根本原
那么是否存在一种活生生的“超时”呢？Oozie无法终止它触发的工作流。但是，通过在协调器中设置Concurrency=1，可以确保单个工作流同时运行。 您还可以使用第二个Oozie工作流来监视Spark作业的状态
无论如何，您应该调查Spark作业未成功或被阻止的根本原因 为什么不与oozie一起安排一个每小时运行一次的shell脚本，例如，在Thread中检查长时间运行的应用程序，然后杀死它们？