Apache spark 火花壳不执行'；初始作业未接受任何资源'；

我正在AWS EC2实例上工作，在那里我安装了Spark 2.2.0，我有8GB的RAM和2个内核

我遵循本教程来使用pyspark shell：

我启动了master，启动了一个slave worker，它们出现在web用户界面上

但是，在shell中，当我尝试执行以下命令时：

>>> tf = spark.sparkContext.textFile('README.md')
>>> tf.count()

我明白了：

[第0阶段：>（0） +0）/2]
17/08/29 11:02:51警告TaskSchedulerImpl:初始作业未接受任何资源；检查集群UI以确保 工人已登记并拥有足够的资源

在spark-env.sh中，我设置了如下变量：

SPARK_LOCAL_IP=127.0.0.1
SPARK_MASTER_HOST=127.0.0.1
SPARK_WORKER_INSTANCES=2
SPARK_WORKER_MEMORY=1000m
SPARK_WORKER_CORES=1

---

所以，我不知道为什么会有问题。我猜pyspark外壳无法正确到达工作从机。

在此设置中，我将使用如下设置启动spark：

sparkshell（或sparksubmit）--主本地[*]--驱动程序内存4G…

根据我的一个评论：

---

对于这样一台小的机器，我怀疑您将无法在集群模式下运行。问题是spark驱动程序和其他两名工人一样需要资源。在这个场景中，您有1个核心驱动程序+2个工人*1个核心。您可以尝试将工作人员的数量调整为1，这样就可以了

你能试试吗？我修改了spark-defaults.conf添加了“spark.driver.memory 3g”，但它仍然不起作用。当我在独立模式下运行时，它不会显示在群集web ui上，也不会在执行者之间进行工作。在你的评论中，你不会说你正在群集模式下运行。所以我猜您在独立模式下运行单个EC2实例。是的，我在独立模式下运行单个EC2实例。但是当我使用--master local[*]时，该应用程序根本不会出现在127.0.0.1:8080 web UI上。您应该看看在独立模式下，您应该咨询localhost:4040。对于这样一台小型计算机，我怀疑您将无法在群集模式下运行。问题是spark驱动程序和其他两名工人一样需要资源。在这个场景中，您有1个核心驱动程序+2个工人*1个核心。您可以尝试将工作人员的数量调整为1，这样就可以了。正如我所建议的，您应该使用这台小型计算机以独立模式运行，因为这样可以减少资源浪费。