Hadoop Can';t启动主和从,奇怪的东西命名为;“博根”;日志中
我为hadoop 2.2下载了一个新的预构建spark文件。在下面的文档中,我想在我的单机上启动我的主机。卸载文件后,我进入sbin并启动master,但我遇到了一个奇怪的问题,下面是日志:Hadoop Can';t启动主和从,奇怪的东西命名为;“博根”;日志中,hadoop,apache-spark,Hadoop,Apache Spark,我为hadoop 2.2下载了一个新的预构建spark文件。在下面的文档中,我想在我的单机上启动我的主机。卸载文件后,我进入sbin并启动master,但我遇到了一个奇怪的问题,下面是日志: Spark Command: /Library/Java/JavaVirtualMachines/jdk1.7.0_55.jdk/Contents/Home/bin/java -cp :/opt/spark-0.9.0-incubating-bin-hadoop2/conf:/opt/spark-0.9.0
Spark Command: /Library/Java/JavaVirtualMachines/jdk1.7.0_55.jdk/Contents/Home/bin/java -cp :/opt/spark-0.9.0-incubating-bin-hadoop2/conf:/opt/spark-0.9.0-incubating-bin-hadoop2/assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar -Dspark.akka.logLifecycleEvents=true -Djava.library.path= -Xms512m -Xmx512m org.apache.spark.deploy.master.Master --ip bogon --port 7077 --webui-port 8080
========================================
log4j:WARN No appenders could be found for logger (akka.event.slf4j.Slf4jLogger).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in thread "main" org.jboss.netty.channel.ChannelException: Failed to bind to: bogon/125.211.213.133:7077
at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272)
at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:391)
at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:388)
at scala.util.Success$$anonfun$map$1.apply(Try.scala:206)
那是什么?IP 125.211.213.133(不是我的IP)来自哪里?这里有什么问题?“bogon”来自提供的命令行。您可能忘记将参数--ip
替换为主机的本地ip
使用sbin/start-master.sh时,如果未提供IP,则使用报告的机器主机名:
start master.sh
if [ "$SPARK_MASTER_IP" = "" ]; then
SPARK_MASTER_IP=`hostname`
fi
如果报告的主机名不正确,可以通过设置env变量为Spark提供is-IP
SPARK\u MASTER\u IP=172.17.0.1 start MASTER.sh
如果您是linux环境,请运行命令hostname
检查您的主机名。我认为125.211.213.133是bogon的IP,而您错误地将主机名设置为“bogon”
if [ "$SPARK_MASTER_IP" = "" ]; then
SPARK_MASTER_IP=`hostname`
fi
要快速修复,您可以运行命令
hostname localhost
,然后重试。@massg感谢您的帮助。但是我刚刚执行了start master.sh
。我没有键入整个命令。@Hakumi已经用IP地址设置的详细信息更新了答案。“bogon”只是指“dummy”或“您应该用您的实际值替换它”