Dataproc PySpark作业“；“未获取任务”；或；“任务租约已到期”；

在运行PySpark作业足够长的时间后，我遇到了“任务租约过期”的错误；然后我尝试重新提交作业，它给出了“未获取任务”，并且日志字段为空

原因是什么？我应该如何诊断此问题

1个主节点：n1-standard-4（4个VCPU，15 GB内存）

4个工作节点：n1-standard-1（1个vCPU，3.75 GB内存）

---

编辑：

---

集群在GCP控制台上看起来运行正常，但它不再“获取”任何作业。我必须重新创建新的集群来运行相同的作业，到目前为止似乎还可以。

这太旧了。我的答案是：

在Thread UI中检查群集运行状况，而不是使用GCP控制台。出现问题，例如工人不可用

---

如果用户界面正常，并且您通过gcloud提交了作业，则可能会丢失GCP中的某些内部进程，因此您可以尝试先重新启动。如果它不能帮助重新创建，正如您所提到的，这是一个选项。

集群是完全不可用还是只有这个特定的作业失败了？如果所有作业都显示了这一点，那么最好的做法是向dataproc发送消息-feedback@google.com你看到的问题。