Apache spark 在本地运行SparkPi时连接被拒绝_Apache Spark

Apache spark 在本地运行SparkPi时连接被拒绝

apache-spark

Apache spark 在本地运行SparkPi时连接被拒绝,apache-spark,Apache Spark,我正在尝试运行SparkPi示例的简单执行。我启动了master和一个worker，然后在本地“集群”上执行作业，但最终得到一系列错误，所有错误都以 Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: /127.0.0.1:39398 我最初尝试在没有配置的情况下运行我的master和worker，但最终还是出现了相同的错误。我尝试更改为1

我正在尝试运行SparkPi示例的简单执行。我启动了master和一个worker，然后在本地“集群”上执行作业，但最终得到一系列错误，所有错误都以

Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: /127.0.0.1:39398

我最初尝试在没有配置的情况下运行我的master和worker，但最终还是出现了相同的错误。我尝试更改为127.0.0.1，以测试这是否只是一个防火墙问题，因为服务器被外部世界锁定

我的

conf/spark-conf.sh

包含以下内容：

export SPARK_MASTER_IP=127.0.0.1

以下是我运行的顺序和命令：

1）

sbin/start master.sh

（启动主机）

2）

bin/spark类org.apache.spark.deploy.worker.workerspark://127.0.0.1:7077 --ip 127.0.0.1—端口1111

（在同一台机器上的不同会话中启动从机）

3）

bin/runexample org.apache.spark.examples.SparkPispark://127.0.0.1:7077

（在同一台机器上的不同会话中启动作业）

我发现很难相信我被锁定到了足够的程度，以至于在本地运行会导致问题。

看起来不应该将SPARK\u MASTER\u IP设置为环回地址127.0.0.1。工作节点将无法使用环回地址连接到主节点

您应在conf/spark-env.sh中将其设置为有效的本地ip地址（例如192.168.0.2），并在主节点和工作节点的conf/slaves配置文件中添加工作方的ip

然后可以使用sbin/start-all.sh启动集群

然后运行“bin/runexample org.apache.spark.examples.SparkPi”