Apache spark 纱线上的火花发送RPC失败，从机丢失

我想在Thread、Hadoop2.7.3上部署spark2.3.2。
但当我跑步时：

spark-shell

始终引发错误：

ERROR TransportClient:233 - Failed to send RPC 4858956348523471318 to /10.20.42.194:54288: java.nio.channels.ClosedChannelException
...
ERROR YarnScheduler:70 - Lost executor 1 on dc002: Slave lost

dc002和dc003都将引发错误

发送RPC失败

和

从机丢失

我有一个主节点和两个从节点服务器。它们都是：

CentOS Linux 7.5.1804版（核心版）

40 cpu、62.6GB内存和31.4GB交换

我的

HADOOP\u CONF\u DIR

：

export HADOOP_CONF_DIR=/home/spark-test/hadoop-2.7.3/etc/hadoop

我的

/etc/hosts

：

10.20.51.154 dc001
10.20.42.194 dc002
10.20.42.177 dc003

在Hadoop和Thread Web UI中，我可以看到dc002和dc003节点，并且我可以在Hadoop中对Thread运行简单的mapreduce任务。
但是当我运行

sparkshell

或

SparkPi

示例程序时

./spark-submit --deploy-mode client --class org.apache.spark.examples.SparkPi spark-2.3.2-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.3.2.jar 10

，错误总是会出现。

---

我很想知道为什么会发生这些错误。

请在代码中尝试此参数-

spark.conf.set("spark.dynamicAllocation.enabled", "false")

其次，在执行spark submit时，定义诸如--executor memory和--num executors之类的参数 样本：

---

我通过更改

warn site.xml

conf文件修复了此问题：

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

warn.nodemanager.pmem-check-enabled
假的
warn.nodemanager.vmem-check-enabled
假的

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>