Performance hadoop/Thread是如何决定一个节点的速度慢的?它对节点上的任务做了什么?

Performance hadoop/Thread是如何决定一个节点的速度慢的?它对节点上的任务做了什么?,performance,hadoop,nodes,Performance,Hadoop,Nodes,我相信我理解HADOOP是如何知道节点崩溃的。如果集群管理器在预定的时间内没有收到来自其中一个从属服务器的心跳,那么它认为它已死亡 群集管理器如何确定节点是否慢?一旦确定节点速度慢,它将如何处理该节点上的任务 谢谢。回答我自己的问题。我使用的是Tom White的以下引用“” 哈罗德是对的。根据这本书,应用程序启动的任务会定期向应用程序主机报告状态。如果应用程序主控程序发现某个任务没有报告进度,它将假定该任务处于挂起状态,并自动终止相应的JVM。默认超时时间称为10分钟 书中还单独讨论了构成进度

我相信我理解HADOOP是如何知道节点崩溃的。如果集群管理器在预定的时间内没有收到来自其中一个从属服务器的心跳,那么它认为它已死亡

群集管理器如何确定节点是否慢?一旦确定节点速度慢,它将如何处理该节点上的任务


谢谢。

回答我自己的问题。我使用的是Tom White的以下引用“”

哈罗德是对的。根据这本书,应用程序启动的任务会定期向应用程序主机报告状态。如果应用程序主控程序发现某个任务没有报告进度,它将假定该任务处于挂起状态,并自动终止相应的JVM。默认超时时间称为10分钟


书中还单独讨论了构成进度的因素。

我不认为纱线知道节点速度慢。纱线只是将作业分布在所有具有可用资源的节点上,速度慢的节点将需要更多的时间来完成其作业,而处理其他作业所需的可用资源则更少。最终,Thread可能会终止一个在此服务器上花费太多时间的作业并重新分配它。你可能是对的Harold,也就是说Thread没有处理慢速节点的机制。然而,您还提到,如果速度太慢,纱线最终会扼杀工作。所以它确实有办法确定一项工作太慢了?谢谢你的回复,我也会继续寻找一个明确的答案,并更新这篇文章。实际上,这项漫长的工作将被应用程序管理员(例如:Spark驱动程序)而不是仅仅是资源经理的Thread扼杀。