Ssh SPARK:WARN TaskSchedulerImpl:初始作业未接受任何资源

因此，我试图通过以下链接在ubuntu上安装ApacheSpark1.2.1独立集群。

但我没有在VmWare Workstation中从主机克隆从机，而是使用了两台不同的机器

我在spark-env.sh中声明了以下变量

# - SPARK_MASTER_IP, to bind the master to a different IP address or hostname
export SPARK_MASTER_IP=<master-node IP>
# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master
# - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y")
# - SPARK_WORKER_CORES, to set the number of cores to use on this machine
export SPARK_WORKER_CORES=1
# - SPARK_WORKER_MEMORY, to set how much total memory workers have to give executors (e.g. 1000m, 2g)
export SPARK_WORKER_MEMORY=200m
# - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker
# - SPARK_WORKER_INSTANCES, to set the number of worker processes per node
export SPARK_WORKER_INSTANCES=2

虽然在从机上，系统监视器中出现了2个java进程，但主节点系统的UI不显示任何工作节点

当我运行命令时仍在继续

MASTER=spark://<master node ip>:7077 ./bin/spark-shell

我已确保在需要时放置正确的系统IP，并尝试减少分配给工作节点的内存。但问题仍然存在

请帮忙

---

此外，对于在spark中进行流式处理的任何指导/参考[spark编程指南除外]也将不胜感激。

由于工作节点内存不足而发生错误

以下两种解决方案是可能的：

• 尝试为工作虚拟机分配更多内存
• 减少“spark env.sh”中分配给工作节点的内存 文件

---

该错误是由于我的系统的RAM限制（4GB）造成的，由于该限制，我能够为工作节点分配少于1GB的内存。

MASTER=spark://<master node ip>:7077 ./bin/spark-shell

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory