Ubuntu 火花起动从机未连接到主机

我正在使用Ubuntu16并试图在我的局域网上建立spark cluster

我已经成功地配置了spark主机，并成功地从同一台机器连接了一个从机，并在localhost:8080上看到了它

当我尝试从另一台机器连接时，问题就开始了，我按照说明配置了无密码ssh

当我尝试使用start-slave.sh连接到主机时spark://master:port 如前所述

我正在获取此错误日志

我尝试使用本地ip和本地名称访问主机（我使用ssh和不使用密码访问主机。用户和根用户都使用ssh）

我在两个端口上都尝试了端口6066和端口7077

我没有收到错误消息，但是新的从机没有出现在主机的localhost:8080页面中

并继续获取此错误日志

Spark命令：/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java-cp /usr/local/spark/conf/：/usr/local/spark/jars/*-Xmx1g org.apache.spark.deploy.worker.worker——webui端口8081 spark://latitude:6066 ===================================================使用Spark的默认log4j配置文件：org/apache/Spark/log4j-defaults.properties 17/07/26 22:09:09 信息工作者：已启动进程名为的守护程序： 20609@name-beckup笔记本电脑17/07/26 22:09:09信息信号： 术语17/07/26 22:09:09的注册信号处理程序信息信号： HUP的注册信号处理程序17/07/26 22:09:09信息信号： INT的注册信号处理器17/07/26 22:09:09警告Utils：您的 主机名、名称beckup laptop解析为环回地址： 127.0.1.1; 改为使用192.168.14.84（在接口wlp2s0上）17/07/26 22:09:09警告Utils：如果需要绑定到另一个，请设置SPARK\u LOCAL\u IP 地址17/07/26 22:09:09警告NativeCodeLoader:无法加载 适用于您的平台的本机hadoop库。。。使用内置java类 适用时17/07/26 22:09:09信息安全管理器：更改视图 acls收件人：名称17/07/26 22:09:09信息安全管理器：更改修改 acls收件人：名称17/07/26 22:09:09信息安全管理器：更改视图 acls组收件人：17/07/26 22:09:09信息安全管理器：更改 将acls组修改为：17/07/26 22:09:09信息安全管理器： SecurityManager：已禁用身份验证；ui ACL被禁用；使用者 具有查看权限：设置（名称）；具有查看权限的组：Set（）； 具有修改权限的用户：设置（名称）；具有修改功能的组 权限：Set（）17/07/26 22:09:09信息Utils:已成功启动 端口34777上的服务“sparkWorker”。17/07/26 22:09:09信息工作者： 启动Spark worker 192.168.14.84:34777，4芯，14.6 GB RAM 17/07/26 22:09:09信息工作者：运行Spark版本2.2.0 17/07/26 22:09:09信息工作者：Spark home:/usr/local/Spark 17/07/26 22:09:10 信息实用程序：已在端口8081上成功启动服务“WorkerUI”。 17/07/26 22:09:10信息WorkerWebUI：将WorkerWebUI绑定到0.0.0.0，以及 开始于17/07/26 22:09:10信息工作者： 正在连接到主纬度：6066。。。17/07/26 22:09:10警告工人： 无法连接到主纬度：6066 org.apache.spark.SparkException:在waitresult:at中引发异常 org.apache.spark.util.ThreadUtils$.awaitResult（ThreadUtils.scala:205） 位于org.apache.spark.rpc.RpcTimeout.awaitResult（RpcTimeout.scala:75） 在 org.apache.spark.RpcEnv.setupEndpointRefByURI（RpcEnv.scala:100） 在org.apache.spark.rpc.RpcEnv.setupEndpointRef（RpcEnv.scala:108）上 org.apache.spark.deploy.worker.worker$$anonfun$org$apache$spark$deploy$worker$worker$$tryRegisterAllMasters$1$$anon$1.run（worker.scala:241） 在 Executors$RunnableAdapter.call（Executors.java:511） 在java.util.concurrent.FutureTask.run（FutureTask.java:266）处 java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1142） 在 java.util.concurrent.ThreadPoolExecutor$Worker.run（ThreadPoolExecutor.java:617） 在java.lang.Thread.run（Thread.java:748）处，由以下原因引起： java.io.IOException:无法连接到latitude/192.168.14.83:6066 在 org.apache.spark.network.client.TransportClientFactory.createClient（TransportClientFactory.java:232） 在 org.apache.spark.network.client.TransportClientFactory.createClient（TransportClientFactory.java:182） 在 org.apache.spark.rpc.netty.nettyrpcev.createClient（nettyrpcev.scala:197） 位于org.apache.spark.rpc.netty.Outbox$$anon$1.call（Outbox.scala:194） 位于org.apache.spark.rpc.netty.Outbox$$anon$1.call（Outbox.scala:190） ... 又有4宗是由于： io.netty.channel.AbstractChannel$AnnotatedConnectionException:连接 拒绝：纬度/192.168.14.83:6066 at sun.nio.ch.socketchannelpl.checkConnect（本机方法）位于 sun.nio.ch.SocketChannelImpl.finishConnect（SocketChannelImpl.java:717） 在 io.netty.channel.socket.nio.NioSocketChannel.doFinishConnect（NioSocketChannel.java:257） 在 io.netty.channel.nio.AbstractNioChannel$AbstractNiosafsafe.finishConnect（AbstractNioChannel.java:291） 在 io.netty.channel.nio.NioEventLoop.processSelectedKey（NioEventLoop.java:631） 在 io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized（NioEventLoop.java:566） 在 io.netty.channel.nio.NioEventLoop.processSelectedKeys（NioEventLoop.java:480） 运行（NioEventLoop.java:442） io.netty.util.concurrent.SingleThreadEventExecutor$2.run（SingleThreadEventExecutor.java:131） 在 io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run（DefaultThreadFactory.java:144） ... 还有一个

谢谢

找到了问题

您需要在/conf/spark env中添加一个文件

增加以下内容：

SPARK_MASTER_IP='<ip of master without port>'

SPARK\u MASTER\u IP=''

然后

start-master.sh -h <ip of master>:7077

start-master.sh-h:7077

之后

start-slave.sh spark://<master ip>:7077 

start-slave.sh spark://:7077

---

我也有同样的问题，在主节点上运行

spark/sbin/start slave.sh

hadoop@master:/opt/spark$ sudo ./sbin/start-slave.sh --master spark://master:7077
starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out
failed to launch: nice -n 0 /opt/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 --master spark://master:7077
  Options:
    -c CORES, --cores CORES  Number of cores to use
    -m MEM, --memory MEM     Amount of memory to use (e.g. 1000M, 2G)
    -d DIR, --work-dir DIR   Directory to run apps in (default: SPARK_HOME/work)
    -i HOST, --ip IP         Hostname to listen on (deprecated, please use --host or -h)
    -h HOST, --host HOST     Hostname to listen on
    -p PORT, --port PORT     Port to listen on (default: random)
    --webui-port PORT        Port for web UI (default: 8081)
    --properties-file FILE   Path to a custom Spark properties file.
                             Default is conf/spark-defaults.conf.
full log in /opt/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out

我发现了我的错误，我不应该使用

--m
hadoop@master:/opt/spark$ sudo ./sbin/start-slave.sh spark://master:7077

SPARK_MASTER_HOST="master"
JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"