Hadoop Apache Spark作业在独立群集中处于提交状态

Hadoop Apache Spark作业在独立群集中处于提交状态,hadoop,apache-spark,Hadoop,Apache Spark,即使有足够的内核和内存可用,Apache Spark作业仍处于提交状态 Spark 1.2.1具有独立管理器的群集具有: 节点总数:3 总芯数:8芯 总内存:14 GB 其中,, 第一个应用程序使用: 1Gb内存和2个内核,所以群集仍有13GB内存和6个可用内核。 但在提交另一份申请后,它将进入提交状态,等待第一份申请完成 为什么它不能立即启动?为什么它要等待其他应用程序完成?在独立模式集群中有两个从属应用程序?考虑到您不是在一个完全分布式的环境中,出于什么目的?对不起,我在集群中有3个节点。在

即使有足够的内核和内存可用,Apache Spark作业仍处于提交状态

Spark 1.2.1具有独立管理器的群集具有:

节点总数:3 总芯数:8芯 总内存:14 GB

其中,, 第一个应用程序使用: 1Gb内存和2个内核,所以群集仍有13GB内存和6个可用内核。 但在提交另一份申请后,它将进入提交状态,等待第一份申请完成


为什么它不能立即启动?为什么它要等待其他应用程序完成?

在独立模式集群中有两个从属应用程序?考虑到您不是在一个完全分布式的环境中,出于什么目的?对不起,我在集群中有3个节点。在一个独立的集群中,您怎么能有3个节点?独立群集是一个伪分布式单节点群集,其中主群集和从群集共享相同的资源。我使用了独立群集管理器来设置群集。我应该使用Mesos还是Thread群集管理器?我以前从未使用过Mesos,也不知道有任何独立群集管理器。Thread是ApacheHadoop中的一个计算和资源管理框架,我感觉您将它与cloudera manager之类的管理集群管理混为一谈。。。