Hadoop 单节纱线上的运行火花

我正在学习一点数据科学，并试图发现和理解与之相关的各种工具

到目前为止，我已经在Mac OS上安装了Hadoop 2.8.0，现在我想让Spark 2.1.1也能正常工作。我知道Spark不一定需要Hadoop环境才能工作，但我也知道，为了与其他应用程序共享数据，让它运行起来是很有用的

在网上阅读了不同的指南和建议后，我做了以下工作：

• 在Hadoop配置文件中，我添加了纱线站点.xml：

  <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
  </property>
  <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>localhost</value>
  </property>
  <property>
      <name>yarn.resourcemanager.scheduler.address</name>
      <value>localhost:8030</value>
  </property>
  <property>
      <name>yarn.resourcemanager.address</name>
      <value>localhost:8032</value>
  </property>
  <property>
      <name>yarn.resourcemanager.webapp.address</name>
      <value>localhost:8088</value>
  </property>
  <property>
      <name>yarn.resourcemanager.resource-tracker.address</name>
      <value>localhost:8031</value>
  </property>
  <property>
      <name>yarn.resourcemanager.admin.address</name>
      <value>localhost:8033</value>
  </property>
  

  export SPARK_MASTER_IP=localhost
  export SPARK_WORKER_CORES=1
  export SPARK_WORKER_MEMORY=800m
  export SPARK_WORKER_ISTANCES=1
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  export SPARK_EXECUTOR_INSTANCES=1
  export SPARK_LOCAL_IP=127.0.0.1
  

现在，在使用

$Hadoop\u HOME/sbin/start dfs.sh

和

$Hadoop\u HOME/sbin/start warn.sh

启动Hadoop之后，如果我尝试启动：

sudo spark-shell --master yarn

（如果我理解正确，这应该是使火花溢出纱线的方法），经过很长时间后，我得到以下错误：

17/06/09 14:55:44 ERROR SparkContext: Error initializing SparkContext.
java.net.ConnectException: Call From Alessandro.local/192.168.2.1 to 0.0.0.0:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
    at sun.reflect.GeneratedConstructorAccessor8.newInstance(Unknown Source)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
    at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:732)
    at org.apache.hadoop.ipc.Client.call(Client.java:1479)
    at org.apache.hadoop.ipc.Client.call(Client.java:1412)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
    at com.sun.proxy.$Proxy12.getNewApplication(Unknown Source)
    at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getNewApplication(ApplicationClientProtocolPBClientImpl.java:221)
    at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:191)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
    at com.sun.proxy.$Proxy13.getNewApplication(Unknown Source)
    at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.getNewApplication(YarnClientImpl.java:219)
    at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.createApplication(YarnClientImpl.java:227)
    at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:159)
    at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56)
    at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:156)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:509)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2320)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860)
    at org.apache.spark.repl.Main$.createSparkSession(Main.scala:96)
    at $line3.$read$$iw$$iw.<init>(<console>:15)
    at $line3.$read$$iw.<init>(<console>:42)
    at $line3.$read.<init>(<console>:44)
    at $line3.$read$.<init>(<console>:48)
    at $line3.$read$.<clinit>(<console>)
    at $line3.$eval$.$print$lzycompute(<console>:7)
    at $line3.$eval$.$print(<console>:6)
    at $line3.$eval.$print(<console>)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at scala.tools.nsc.interpreter.IMain$ReadEvalPrint.call(IMain.scala:786)
    at scala.tools.nsc.interpreter.IMain$Request.loadAndRun(IMain.scala:1047)
    at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:638)
    at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:637)
    at scala.reflect.internal.util.ScalaClassLoader$class.asContext(ScalaClassLoader.scala:31)
    at scala.reflect.internal.util.AbstractFileClassLoader.asContext(AbstractFileClassLoader.scala:19)
    at scala.tools.nsc.interpreter.IMain$WrappedRequest.loadAndRunReq(IMain.scala:637)
    at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:569)
    at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:565)
    at scala.tools.nsc.interpreter.ILoop.interpretStartingWith(ILoop.scala:807)
    at scala.tools.nsc.interpreter.ILoop.command(ILoop.scala:681)
    at scala.tools.nsc.interpreter.ILoop.processLine(ILoop.scala:395)
    at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply$mcV$sp(SparkILoop.scala:38)
    at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply(SparkILoop.scala:37)
    at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply(SparkILoop.scala:37)
    at scala.tools.nsc.interpreter.IMain.beQuietDuring(IMain.scala:214)
    at org.apache.spark.repl.SparkILoop.initializeSpark(SparkILoop.scala:37)
    at org.apache.spark.repl.SparkILoop.loadFiles(SparkILoop.scala:105)
    at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply$mcZ$sp(ILoop.scala:920)
    at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:909)
    at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:909)
    at scala.reflect.internal.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:97)
    at scala.tools.nsc.interpreter.ILoop.process(ILoop.scala:909)
    at org.apache.spark.repl.Main$.doMain(Main.scala:69)
    at org.apache.spark.repl.Main$.main(Main.scala:52)
    at org.apache.spark.repl.Main.main(Main.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:743)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
    at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:614)
    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:712)
    at org.apache.hadoop.ipc.Client$Connection.access$2900(Client.java:375)
    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1528)
    at org.apache.hadoop.ipc.Client.call(Client.java:1451)
    ... 69 more
17/06/09 14:55:44 WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Attempted to request executors before the AM has registered!

17/06/09 14:55:44错误SparkContext:初始化SparkContext时出错。
java.net.ConnectException:从Alessandro.local/192.168.2.1到0.0.0.0:8032的调用在连接异常时失败：java.net.ConnectException:连接被拒绝；有关更多详细信息，请参阅：http://wiki.apache.org/hadoop/ConnectionRefused
位于sun.reflect.GeneratedConstructorAccessor8.newInstance（未知源）
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）
位于java.lang.reflect.Constructor.newInstance（Constructor.java:422）
位于org.apache.hadoop.net.NetUtils.wrapWithMessage（NetUtils.java:792）
位于org.apache.hadoop.net.NetUtils.wrapException（NetUtils.java:732）
位于org.apache.hadoop.ipc.Client.call（Client.java:1479）
位于org.apache.hadoop.ipc.Client.call（Client.java:1412）
位于org.apache.hadoop.ipc.protobufrpceengine$Invoker.invoke（protobufrpceengine.java:229）
位于com.sun.proxy.$Proxy12.getNewApplication（未知源）
位于org.apache.hadoop.warn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getNewApplication（ApplicationClientProtocolPBClientImpl.java:221）
位于sun.reflect.GeneratedMethodAccessor3.invoke（未知源）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中
位于java.lang.reflect.Method.invoke（Method.java:497）
位于org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod（RetryInvocationHandler.java:191）
位于org.apache.hadoop.io.retry.RetryInvocationHandler.invoke（RetryInvocationHandler.java:102）
位于com.sun.proxy.$Proxy13.getNewApplication（未知源）
位于org.apache.hadoop.warn.client.api.impl.YarnClientImpl.getNewApplication（YarnClientImpl.java:219）
位于org.apache.hadoop.warn.client.api.impl.YarnClientImpl.createApplication（YarnClientImpl.java:227）
位于org.apache.spark.deploy.warn.Client.submitApplication（Client.scala:159）
位于org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start（YarnClientSchedulerBackend.scala:56）
位于org.apache.spark.scheduler.TaskSchedulerImpl.start（TaskSchedulerImpl.scala:156）
位于org.apache.spark.SparkContext（SparkContext.scala:509）
位于org.apache.spark.SparkContext$.getOrCreate（SparkContext.scala:2320）
位于org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply（SparkSession.scala:868）
位于org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply（SparkSession.scala:860）
位于scala.Option.getOrElse（Option.scala:121）
位于org.apache.spark.sql.SparkSession$Builder.getOrCreate（SparkSession.scala:860）
位于org.apache.spark.repl.Main$.createSparkSession（Main.scala:96）
在$line3。$read$$iw$$iw。（：15）
在$line3。$read$$iw。（:42）
$line3.$read.（：44）
在$line3.$read$（：48）
在$line3.$read$（）
在$line3.$eval$.$print$lzycompute（：7）处
在$line3.$eval$.$print处（：6）
在$line3.$eval.$print（）处
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
位于sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中
位于java.lang.reflect.Method.invoke（Method.java:497）
在scala.tools.nsc.explorer.IMain$ReadEvalPrint.call中（IMain.scala:786）
位于scala.tools.nsc.explorer.IMain$Request.loadAndRun（IMain.scala:1047）
在scala.tools.nsc.explorer.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply（IMain.scala:638）
在scala.tools.nsc.explorer.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply（IMain.scala:637）
位于scala.reflect.internal.util.ScalaClassLoader$class.asContext（ScalaClassLoader.scala:31）
位于scala.reflect.internal.util.AbstractFileClassLoader.asContext（AbstractFileClassLoader.scala:19）
位于scala.tools.nsc.explorer.IMain$WrappedRequest.loadAndRunReq（IMain.scala:637）
在scala.tools.nsc.explorer.IMain.explore（IMain.scala:569）中
在scala.tools.nsc.explorer.IMain.explore（IMain.scala:565）中
位于scala.tools.nsc.interpreter.ILoop.interpretatingstartingwith（ILoop.scala:807）
位于scala.tools.nsc.interpreter.ILoop.command（ILoop.scala:681）
位于scala.tools.nsc.interpreter.ILoop.processLine（ILoop.scala:395）
在org.apache.spark.repl.sparkilop$$anonfun$initializeSpark$1.apply$mcV$sp（sparkilop.scala:38）
在org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply上（SparkILoop.scala:37）
在org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply上（SparkILoop.scala:37）
位于scala.tools.nsc.interpreter.IMain.beQuietDuring（IMain.scala:214）
位于org.apache.spark.repl.SparkILoop.initializeSpark（SparkILoop.scala:37）
位于org.apache.spark.repl.SparkILoop.loadFiles（SparkILoop.scala:105）
在scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply$mcZ$sp（ILoop.scala:920）
在scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply（ILoop.scala:909）中
在scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply（ILoop.scala:909）中
在scala.reflect.internal.util.ScalaClassLoader$.savingContextLoader处（ScalaClassLoader.scala:97）
在scala.tools.nsc.exploration