Apache spark 火花线结束时出现错误exitCode=16,如何解决?
我正在使用ApacheSpark2.0.0和ApacheHadoop2.6.0。我正在尝试在hadoop集群上运行spark应用程序 我使用了命令行:Apache spark 火花线结束时出现错误exitCode=16,如何解决?,apache-spark,yarn,Apache Spark,Yarn,我正在使用ApacheSpark2.0.0和ApacheHadoop2.6.0。我正在尝试在hadoop集群上运行spark应用程序 我使用了命令行: bin/spark-submit --class org.JavaWordCount \ --master yarn \ --deploy-mode cluster \ --driver-memory 512m \ --queue default \ /opt/JavaWordCount.jar \
bin/spark-submit --class org.JavaWordCount \
--master yarn \
--deploy-mode cluster \
--driver-memory 512m \
--queue default \
/opt/JavaWordCount.jar \
10
但是,纱线结束时出现错误exictCode=16:
17/01/25 11:05:49 INFO impl.ContainerManagementProtocolProxy: yarn.client.max-cached-nodemanagers-proxies : 0
17/01/25 11:05:49 INFO impl.ContainerManagementProtocolProxy: Opening proxy : hmaster:59600
17/01/25 11:05:49 ERROR yarn.ApplicationMaster: RECEIVED SIGNAL TERM
17/01/25 11:05:49 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 16, (reason: Shutdown hook called before final status was reported.)
17/01/25 11:05:49 INFO storage.DiskBlockManager: Shutdown hook called
我试图用这个来解决这个问题,但它没有给出一个实际的答案
有人知道如何解决这个问题吗
提前感谢刚刚遇到这个问题。JVM正在使用多余的内存。尝试添加属性
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
warn.nodemanager.vmem-check-enabled
假的
在所有节点管理器的warn-site.xml中重新启动。它对我有用
请参阅:刚刚遇到此问题。JVM正在使用多余的内存。尝试添加属性
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
warn.nodemanager.vmem-check-enabled
假的
在所有节点管理器的warn-site.xml中重新启动。它对我有用
参考: