Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/reactjs/22.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark Standalone Cluster:TaskSchedulerImpl:初始作业未接受任何资源_Apache Spark - Fatal编程技术网

Apache spark Spark Standalone Cluster:TaskSchedulerImpl:初始作业未接受任何资源

Apache spark Spark Standalone Cluster:TaskSchedulerImpl:初始作业未接受任何资源,apache-spark,Apache Spark,我在Amazon EC2中有一个集群,通过以下方式计算: -船长:t2.5码 -2x:t2.micro 我只需更改spark-env.sh中的端口: export SPARK_MASTER_WEBUI_PORT=8888 在从属文件中,我写下了我的两个从属IP 这就是我设置的所有配置。在那之后,我使用./start all运行,我可以在8888端口看到我的主机 但当我尝试运行应用程序时,会收到以下警告: 17/02/23 13:57:02 INFO TaskSchedulerImpl: Add

我在Amazon EC2中有一个集群,通过以下方式计算: -船长:t2.5码 -2x:t2.micro

我只需更改spark-env.sh中的端口:

export SPARK_MASTER_WEBUI_PORT=8888
在从属文件中,我写下了我的两个从属IP

这就是我设置的所有配置。在那之后,我使用./start all运行,我可以在8888端口看到我的主机

但当我尝试运行应用程序时,会收到以下警告:

17/02/23 13:57:02 INFO TaskSchedulerImpl: Adding task set 0.0 with 6 tasks
17/02/23 13:57:17 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17/02/23 13:57:32 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17/02/23 13:57:47 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
当我检查集群时,我可以看到spark kill executor a如何创建一个新的集群。我试着用更好的电脑,但还是不行。
发生了什么事?如何修复它?

您是否看到了可用的资源?您是否已将workers设置为正确连接到主节点?我没有在workers中设置任何内容,因为我可以在集群中看到,我认为这完全可以。我应该设置什么?您需要确保您的工作人员知道要连接到哪个主机。您在
spark env.sh
文件中设置了它。在slaves中设置之后,我仍然有相同的问题。我在spark-env.sh中使用了以下句子:export spark_MASTER_HOST='172.31.24.154'您是否重新启动了spark worker服务?您是否看到可用的资源?您是否已将workers设置为正确连接到主节点?我没有在workers中设置任何内容,因为我可以在集群中看到,我认为这完全可以。我应该设置什么?您需要确保您的工作人员知道要连接到哪个主机。您在
spark env.sh
文件中设置了它。在slaves中设置之后,我仍然有相同的问题。我在spark-env.sh中使用了以下句子:export spark_MASTER_HOST='172.31.24.154'是否重新启动了spark worker服务?