Hadoop 在Apache spark中使用spark submit运行应用程序时，发出警告消息

我已经将ApacheSpark独立集群配置为两个Ubuntu 14.04虚拟机。其中一个虚拟机（即主虚拟机）和另一个虚拟机（即工作虚拟机）均通过所述的无密码ssh连接

在从Master启动之后，我从spark主目录通过以下命令启动Master和worker-

sbin/start-all.sh

然后，我从Master和Woker VMs运行以下命令

jps

它显示在主虚拟机中-

6047 jps
6048 Master 

并进入工人虚拟机-

6046 jps
6045 Worker

看起来主控器和辅助器运行正常，而且在Web UI中，没有出现错误。 但是当我尝试使用以下命令运行应用程序时-

spark-1.6.0/bin/spark-submit spark.py

它在控制台中发出警告消息-

TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

这是我的考试申请表-

from pyspark import SparkConf, SparkContext
from pyspark.sql import  SQLContext
conf =SparkConf().setMaster('spark://SparkMaster:7077').setAppName("My_App")
sc = SparkContext(conf=conf)
SQLCtx = SQLContext(sc)
list_of_list = sc.textFile("ver1_sample.csv").map(lambda line: line.split(",")).collect()
print("type_of_list_of_list===========",type(list_of_list), list_of_list)

---

因为我是Apache Spark的新手。请提供帮助。

问题可能与资源（内存/核心）可用性有关。默认情况下，spark从spark-defaults.conf获取默认值

试用

bin/spark-submit --executor-memory 1g 

---

我已经使用了上面的命令，但它仍然给出了与我前面提到的相同的警告消息。当我试图在主服务器所在的同一服务器上创建辅助服务器来运行应用程序时，应用程序已成功执行。警告消息仅在主设备和辅助设备分离时发出。两个虚拟机都是ec2实例。警告消息是否存在任何网络问题@Atul SomanDo您看到Spark Web UI上列出的工作人员了吗？如果是，请尝试将

--master

添加到

spark submit

命令中，以确保将作业提交给正确的spark master。