Apache spark 在Apache spark中启动master时,无法从类io.netty.Channel.socket.nio.NioServerSocketChannel创建通道

Apache spark 在Apache spark中启动master时,无法从类io.netty.Channel.socket.nio.NioServerSocketChannel创建通道,apache-spark,netty,Apache Spark,Netty,这是我在spark中尝试使用runMaster.sh启动master时得到的结果: 07:21:23.613[主]调试io.netty.util.internal.ThreadLocalRandom---Dio.netty.initialSeedUniquifier:0xB1B69A9D4B33F61花费了0毫秒 主线程io.netty.channel.channel异常:无法从类io.netty.channel.socket.nio.NioServerSocketChannel创建通道 在io

这是我在spark中尝试使用runMaster.sh启动master时得到的结果:

07:21:23.613[主]调试io.netty.util.internal.ThreadLocalRandom---Dio.netty.initialSeedUniquifier:0xB1B69A9D4B33F61花费了0毫秒 主线程io.netty.channel.channel异常:无法从类io.netty.channel.socket.nio.NioServerSocketChannel创建通道 在io.netty.bootstrap.AbstractBootstrap$bootstrapcchannelfactory.newChannelAbstractBootstrap.java:457 位于io.netty.bootstrap.AbstractBootstrap.initAndRegisterAbstractBootstrap.java:308 在io.netty.bootstrap.AbstractBootstrap.doBindAbstractBootstrap.java:272 在io.netty.bootstrap.AbstractBootstrap.bindAbstractBootstrap.java:268 位于org.apache.spark.network.server.TransportServer.initTransportServer.java:129 位于org.apache.spark.network.server.TransportServer.TransportServer.java:74 位于org.apache.spark.network.TransportContext.createServerTransportContext.java:114 位于org.apache.spark.rpc.netty.nettyrpcev.startServerNettyrpcev.scala:118 位于org.apache.spark.rpc.netty.nettyrpcevenfactory$$anonfun$4.applyNettyRpcEnv.scala:446 位于org.apache.spark.rpc.netty.nettyrpcevenfactory$$anonfun$4.applyNettyRpcEnv.scala:445 在org.apache.spark.util.Utils$$anonfun$startServiceOnPort$1.apply$mcVI$spUtils.scala:2213 在scala.collection.immutable.Range.foreach$mVc$spRange.scala:160 位于org.apache.spark.util.Utils$.startServiceOnPortUtils.scala:2204 位于org.apache.spark.rpc.netty.nettyrpcevFactory.createNettyrpcev.scala:450 位于org.apache.spark.rpc.RpcEnv$.createRpcEnv.scala:56 位于org.apache.spark.rpc.RpcEnv$.createRpcEnv.scala:43 位于org.apache.spark.deploy.master.master$.startRpcEnvAndEndpointMaster.scala:1046 位于org.apache.spark.deploy.master.master$.mainMaster.scala:1030 位于org.apache.spark.deploy.master.master.mainMaster.scala 原因:java.lang.NoSuchMethodError:io.netty.util.internal.PlatformDependent.NewAtomicIntegerFieldDupDaterLjava/lang/Class;Ljava/lang/String;Ljava/util/concurrent/AtomicIntegerFieldUpdater; 在io.netty.channel.ChannelOutboundBuffer.ChannelOutboundBuffer.java:95 在io.netty.channel.AbstractChannel$AbstractSafe.AbstractChannel.java:370 位于io.netty.channel.nio.AbstractNioChannel$AbstractNiosafsafe.AbstractNioChannel.java:172 在io.netty.channel.nio.AbstractNioMessageChannel$niomessagesafe.AbstractNioMessageChannel.java:48 在io.netty.channel.nio.AbstractNioMessageChannel$niomessagesafe.AbstractNioMessageChannel.java:48 位于io.netty.channel.nio.AbstractNioMessageChannel.newUnsafeAbstractNioMessageChannel.java:45 位于io.netty.channel.nio.AbstractNioMessageChannel.newUnsafeAbstractNioMessageChannel.java:34 在io.netty.channel.AbstractChannel.AbstractChannel.java:80 位于io.netty.channel.nio.AbstractNioChannel.AbstractNioChannel.java:82 位于io.netty.channel.nio.AbstractNioMessageChannel.AbstractNioMessageChannel.java:40 位于io.netty.channel.socket.nio.NioServerSocketChannel.NioServerSocketChannel.java:84 位于io.netty.channel.socket.nio.NioServerSocketChannel.NioServerSocketChannel.java:70 在sun.reflect.NativeConstructorAccessorImpl.newInstance0Native方法中 位于sun.reflect.NativeConstructorAccessorImpl.newInstanceNativeConstructorAccessorImpl.java:62 在sun.reflect.DelegatingConstructorAccessorImpl.newInstanceDelegatingConstructorAccessorImpl.java:45 位于java.lang.reflect.Constructor.newInstanceConstructor.java:423 位于java.lang.Class.newInstanceClass.java:442 在io.netty.bootstrap.AbstractBootstrap$bootstrapcchannelfactory.newChannelAbstractBootstrap.java:455 ... 还有18个


看起来类路径上有不同版本的netty工件。确保所有这些都使用相同的版本。

但是所有的罐子都内置了spark*.tar。那么,netty*.jar不应该被自动拾取吗?也许您的类路径上还有其他netty版本?仔细检查。