Apache spark Spark提交纱线错误YarnConfiguration.useHttps NoSuchMethodError

Apache spark Spark提交纱线错误YarnConfiguration.useHttps NoSuchMethodError,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我正在做一个火花提交的纱线,我得到以下错误。知道我做错了什么吗 16/07/05 14:21:49信息spark.SparkContext:已成功停止SparkContext 16/07/05 14:21:49 INFO-thread.ApplicationMaster:使用注销ApplicationMaster失败(诊断消息:用户类引发异常:java.lang.NoSuchMethodError:org.apache.hadoop.thread.conf.YarnConfiguration.u

我正在做一个火花提交的纱线,我得到以下错误。知道我做错了什么吗

16/07/05 14:21:49信息spark.SparkContext:已成功停止SparkContext 16/07/05 14:21:49 INFO-thread.ApplicationMaster:使用注销ApplicationMaster失败(诊断消息:用户类引发异常:java.lang.NoSuchMethodError:org.apache.hadoop.thread.conf.YarnConfiguration.useHttps(Lorg/apache/hadoop/conf/Configuration;)Z) 16/07/05 14:21:49信息远程。RemoteActorRefProvider$RemotingTerminator:关闭远程守护程序。 16/07/05 14:21:49信息远程。RemoteActorRefProvider$RemotingTerminator:远程守护程序关闭;继续刷新远程传输。 16/07/05 14:21:49信息impl.AMRMClientImpl:正在等待成功注销应用程序。
16/07/05 14:21:49信息远程。RemoteActorRefProvider$RemotingTerminator:Remoting关闭。

经过一番努力,我发现问题是我正在构建uber jar,它包含所有依赖项,包括spark。当我在spark submit期间构建不带依赖项的包并将依赖JAR添加为--JAR时,问题得到了解决。似乎大多数情况下,像NoSochMethodError或ClassNotFoundException这样的问题都可以通过这种方法解决。

经过一番努力,我发现问题是我正在构建uber jar,它包含了所有依赖项,包括spark。当我在spark submit期间构建不带依赖项的包并将依赖JAR添加为--JAR时,问题得到了解决。似乎大多数情况下,NoSuchMethodError或ClassNotFoundException之类的问题都可以通过这种方法解决