Apache spark 初始作业未接受任何资源

我的问题类似于其他关于“初始工作未接受任何资源”的海报。我读了他们的建议，仍然无法从Java提交作业。我想知道是否有人有更多的经验安装火花看到一个明显的失误或知道如何解决这个问题

我的配置如下： （VM软呢帽） 主版本：版本2.0.2，预构建，带有hadoop。 WORKER：单个实例

（主机/Windows Java应用程序） 客户端是一个示例JavaApp，配置为

conf.set("spark.cores.max","1");
conf.set("spark.shuffle.service.enabled", "false");
conf.set("spark.dynamicAllocation.enabled", "false");

附件是Spark用户界面的快照。据我所知，我的作业已收到、提交并正在运行。看起来我并没有过度利用CPU和RAM

Java（客户端）控制台报告

12:15:47.816 DEBUG parentName: , name: TaskSet_0, runningTasks: 0
12:15:48.815 DEBUG parentName: , name: TaskSet_0, runningTasks: 0
12:15:49.806 WARN Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
12:15:49.816 DEBUG parentName: , name: TaskSet_0, runningTasks: 0
12:15:50.816 DEBUG parentName: , name: TaskSet_0, runningTasks: 0

Spark worker日志报告

16/11/22 12:16:34 INFO Worker: Asked to launch executor app-20161122121634-0012/0 for Simple 
Application
16/11/22 12:16:34 INFO SecurityManager: Changing modify acls groups to: 
16/11/22 12:16:34 INFO SecurityManager: SecurityManager: authentication disabled; ui acls dis
abled; users  with view permissions: Set(john); groups with view permissions: Set(); users 
 with modify permissions: Set(john); groups with modify permissions: Set()
16/11/22 12:16:34 INFO ExecutorRunner: Launch command: "/apps/jdk1.8.0_101/jre/bin/java" "-cp " "/apps/spark-2.0.2-bin-hadoop2.7/conf/:/apps/spark-2.0.2-bin-hadoop2.7/jars/*" "-Xmx1024M" "-Dspark.driver.port=29015" "org.apache.spark.executor.CoarseGrainedExecutorBackend" "--driver-url" "spark://CoarseGrainedScheduler@192.168.56.1:29015" "--executor-id" "0" "--hostname" "192.168.56.103" "--cores" "1" "--app-id" "app-20161122121634-0012" "--worker-url" "spark://Worker@192.168.56.103:38701"

---

您是否有防火墙阻止通信？正如我在另一份答复中所述：

:

虽然大多数其他答案都集中在spark从属服务器上的资源分配（核心、内存）上，但我想强调的是，防火墙可能会导致完全相同的问题，特别是在云平台上运行spark时

如果您可以在web UI中找到spark Slave，那么您可能已经打开了标准端口8080、8081、7077、4040。尽管如此，当您实际运行作业时，它使用SPARK_WORKER_PORT、SPARK.driver.PORT和SPARK.blockManager.PORT，默认情况下，这些端口是随机分配的。如果防火墙正在阻止这些端口，则主机无法从从属服务器检索任何特定于作业的响应并返回错误

您可以通过打开所有端口来运行快速测试，并查看从属服务器是否接受作业

---

尝试关闭正在运行的应用程序，看看会发生什么！让我们知道我多次试图阻止客户。UI在已完成部分中显示应用程序。这是错误的，因为作业实际上没有执行。您可以在附图中看到，“简单应用程序”->“完成”工作日志显示16/11/22 12:17:12信息工作人员：被要求杀死执行器app-20161122121634-0012/0 16/11/22 12:17:12信息执行器运行器：执行器app-20161122121634-0012/0的运行器线程中断16/11/22 12:17:12信息执行器运行器：杀死进程！16/11/22 12:17:13信息工作者：执行者app-20161122121634-0012/0完成状态已终止，exitStatus 143首先尝试提交申请，然后查看是否仍显示初始作业未接受任何资源，然后转到Spark UI查看提交了多少申请。我的直觉是，一个应用程序正在等待，另一个正在执行，并消耗所有资源！然后尝试关闭正在运行的应用程序，看看会发生什么？我检查过了。只有一个作业正在运行。我在帖子中添加了第二张图片。我想不出还有什么可以调查的。有什么想法吗？仅供参考。运行spark可以很好地控制Pi。spark submit--verbose--class org.apache.spark.examples.SparkPi--masterspark://192.168.56.103:7077 ../examples/jars/spark-examples_2.11-2.0.2.jar如果SparkPi运行正常，则不能发生这种情况，在这种情况下，服务器配置是正确的！您的spark配置是什么样子的？您是否试图从代码中同时提交多个应用程序？