Apache spark googledataproc节点空闲

运行spark作业时，Dataproc群集中的一个节点始终处于空闲状态。我已尝试删除并重新创建集群ect。但它总是有一个空闲节点

原因似乎可以从每隔几秒钟出现的日志中的这三行代码中看出：

Trying to fulfill reservation for application application_1476080745886_0001 on node: cluster-4-w-0.c.xxxx.internal:39080
Reserved container  application=application_1476080745886_0001 resource=<memory:4608, vCores:1> queue=default: capacity=1.0, absoluteCapacity=1.0, usedResources=<memory:25600, vCores:6>, usedCapacity=0.90909094, absoluteUsedCapacity=0.90909094, numApps=1, numContainers=6 usedCapacity=0.90909094 absoluteUsedCapacity=0.90909094 used=<memory:25600, vCores:6> cluster=<memory:28160, vCores:40>
Skipping scheduling since node cluster-4-w-0.c.xxxx.internal:39080 is reserved by application appattempt_1476080745886_0001_000001

正在尝试在节点：cluster-4-w-0.c.xxxx.内部：39080上为应用程序应用程序_1476080745886_0001完成保留
保留容器应用程序=application_1476080745886_0001 resource=queue=default:capacity=1.0，absoluteCapacity=1.0，usedResources=，usedCapacity=0.909094，absoluteUsedCapacity=0.909094，numApps=1，numContainers=6 usedCapacity=0.909094 absoluteUsedCapacity=0.9094 usedCapacity=0.9094 used=cluster=
自节点群集-4-w-0.c.xxxx以来跳过调度。内部：39080由应用程序appattempt_1476080745886_0001_000001保留

---

节点cluster-4-w-0.c.xxxx.internal为空闲节点。为什么appattempt_1476080745886_0001_000001保留的节点不能作为执行者使用？

由于应用程序尝试与Spark应用程序的应用程序ID匹配，我相信应用程序尝试是Spark的应用程序主控器。默认情况下，Spark AppMasters具有与执行器（半个节点）相同的占用空间（有点过多）。因此，默认情况下，应该消耗半个工人

如果您没有更改某些内存配置，我不确定为什么该节点上至少没有一个执行器。在任何情况下，都可以通过减小值来缩小AppMaster

---

您可以通过将SSHing放入集群并运行

纱线应用程序-列表

或导航到.

来更好地调试容器包装。由于应用程序尝试与Spark应用程序的应用程序ID匹配，我相信应用程序尝试是Spark的纱线AppMaster。默认情况下，Spark AppMasters具有与执行器（半个节点）相同的占用空间（有点过多）。因此，默认情况下，应该消耗半个工人

如果您没有更改某些内存配置，我不确定为什么该节点上至少没有一个执行器。在任何情况下，都可以通过减小值来缩小AppMaster

---

您可以通过将SSHing放入集群并运行

warn application-list

或导航到来更好地调试容器包装。

太好了，是的，我确实将executor内存设置为内存的一半以上，这样两个executor就不能安装在一个节点上。太好了，是的，我确实将executor内存设置为超过内存的一半，这样两个executor就不能安装在一个节点上。