如何在hadoop集群中停止运行任务并继续

在hadoop任务运行时，我正在测试“使用UPS关闭服务器”，我有两个问题

我想知道是否可以保存正在运行的任务，然后在重新启动后继续剩余的工作。（在所有节点上）

如果不支持“1”，则在hadoop任务运行时开始关闭进程是否安全？或者，我需要做些什么来保护hadoop系统吗？（集群？）

---

不，不能在中间状态下“保存”任务。如果在某些作业正在运行时关闭hadoop，那么最终可能会得到来自占用空间的废弃作业的中间数据。除此之外，您还可以在作业运行时关闭系统。

目前无法使用Hadoop保存正在运行的任务的状态。这将是一个极其困难的过程，因为所有资源分配都是基于系统的当前负载进行的，但是在重新启动整个集群之后，可能会有完全不同的负载，因此恢复状态没有意义

在回答第二个问题时，Hadoop设计用于容忍节点故障或访问文件时出现的临时问题以及网络中断。单个任务可能会失败，然后系统会在其他节点上重新启动它们。从集群的角度来看，关闭节点是安全的，唯一需要记住的是作业最终会失败，在集群恢复生命后，您需要重新提交作业。使用电源开关关闭集群时可能会出现一个问题，即临时文件没有得到清理。这通常不是一个大问题