Apache spark Google data proc记录资源不足但未失败的错误

我在googledataproc上运行apachesparkjava作业。作业创建spark上下文，分析日志，最后关闭spark上下文。然后为另一组分析创建另一个spark上下文。这种情况持续50-60次。有时我得到错误

初始作业没有接受任何资源；检查您的群集UI，以确保工作人员已注册并且有足够的资源

根据SO的答案，当启动作业时没有足够的可用资源时，就会发生这种情况。但这通常发生在工作中期

---

我希望dataproc作业出错并退出。但是作业只是记录这个错误。我怎样才能使工作失败呢。另外，我如何防止此错误。

这可能发生在作业执行期间，因为Dataproc上的Spark仅在需要启动执行器时才以客户端模式（在Thread之外）运行驱动程序，Spark从Thread为其AppMaster和执行者请求容器

该错误只是表明没有足够的资源，通常可以在集群的监视选项卡中找到Pending Memory>0。您可以手动放大群集，或启用自动缩放