Apache spark java.lang.RuntimeException:Stream'/罐子/<；定制罐>'；在spark独立模式下找不到

我正在尝试在独立集群上测试应用程序。这是我的设想。 我在一个节点a上启动了一个spark master，在同一个节点a上也启动了一个worker

我正在尝试从节点B运行应用程序（这意味着我认为它充当了驱动程序）

我使用setJars（“jar1”、“jar2”）将jar添加到sparkconf中

当我启动这个应用程序时，我看到下面的信息说它可以打开jar

16/12/16 07:45:56信息SparkContext：在spark://nodeb:48151/jars/jar1.jar 时间戳为1481899556375

及

16/12/16 07:45:56信息SparkContext：在spark://nodeb:48151/jars/jar2.jar 时间戳为1481899556376

但是在netty fetch期间，我从nodeA得到了以下异常（我想）

---

检查罐子的位置

---

它应该位于HDFS中的某个位置。在我的例子中，我只是把它放在

/tmp/hive/

下，并将其引用为

setJars（List（“/tmp/hive/myJar”）

，所有这些都像一个符咒一样工作

检查你的jar在哪里

---

它应该位于HDFS中的某个位置。在我的例子中，我只是把它放在

/tmp/hive/

下，并将其引用为

setJars（List（“/tmp/hive/myJar”））

所有这些都很有魅力

当您添加Spark java类路径的jar在该路径中不再可用时，就会发生这种情况。

当您添加Spark java类路径的jar在该路径中不再可用时，就会发生这种情况。

我也有同样的问题。这件事运气好吗？我也有同样的问题。这个问题运气好吗？

16/12/16 07:46:00 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, nodeA): java.lang.RuntimeException: Stream '/jars/node2.jar' was not found

at org.apache.spark.network.client.TransportResponseHandler.handle(TransportResponseHandler.java:222)

at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:121)

at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:51)

at io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105)

at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)

at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)

at io.netty.handler.timeout.IdleStateHandler.channelRead(IdleStateHandler.java:266)

at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)

at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)

at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:103)

at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)

at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)

at org.apache.spark.network.util.TransportFrameDecoder.channelRead(TransportFrameDecoder.java:85)

at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)

at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)

at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:846)

at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:131)

at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511)

at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468)

at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382)

at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354)


at io.netty.util.concurrent.SingleThreadEven