Scala Spark异常：java.lang.NoSuchMethodError:org.apache.http.conn.ssl.SSLConnectionSocketFactory

当我在本地代码中运行代码时，它工作正常。但是，当我在集群中运行它时，我的Jar文件中似乎缺少一些依赖项：

18/05/23 10:46:02 ERROR ApplicationMaster: User class threw exception: java.lang.NoSuchMethodError: org.apache.http.conn.ssl.SSLConnectionSocketFactory.<init>(Ljavax/net/ssl/SSLContext;Ljavax/net/ssl/HostnameVerifier;)V
java.lang.NoSuchMethodError: org.apache.http.conn.ssl.SSLConnectionSocketFactory.<init>(Ljavax/net/ssl/SSLContext;Ljavax/net/ssl/HostnameVerifier;)V
        at com.amazonaws.http.conn.ssl.SdkTLSSocketFactory.<init>(SdkTLSSocketFactory.java:56)
        at com.amazonaws.http.apache.client.impl.ApacheConnectionManagerFactory.getPreferredSocketFactory(ApacheConnectionManagerFactory.java:92)
        at com.amazonaws.http.apache.client.impl.ApacheConnectionManagerFactory.create(ApacheConnectionManagerFactory.java:65)
        at com.amazonaws.http.apache.client.impl.ApacheConnectionManagerFactory.create(ApacheConnectionManagerFactory.java:58)

---

我的罐子里怎么了？在IntelliJ IDEA中，我选择了类检查选项并粘贴了

SSLConnectionSocketFactory

。找到并引用了这个类httpclient-4.3.6。jar

Spark附带了许多库，您可能与其中一个库有冲突

我想我对io.netty.netty-all软件包也有类似的问题。我们最终将服务器上的包升级到了一个稍新的小版本，但这是因为我们正在为部署在节点上的spark构建集成

您可以尝试使用这些参数部署spark应用程序

--conf 'spark.driver.extraJavaOptions=-verbose:class'
--conf 'spark.executor.extraJavaOptions=-verbose:class'

---

这些允许您查看类路径。我很肯定你会在那里看到冲突的包。我会开始检查加载了哪个版本的netty，因为我很确定它取决于httpclient。

我知道我有两个冲突的包，一个是旧版本，另一个是新版本。但是我如何才能只选择新版本？您可以使用sbt依赖项覆盖来定义打包的版本

dependencyOverrides+=“log4j”%“log4j”%“1.2.16”

，更多信息如下：。如果您不能使这两种方法都适用于同一版本的依赖项，那么我将研究着色，这似乎可以很好地解释它：

--conf 'spark.driver.extraJavaOptions=-verbose:class'
--conf 'spark.executor.extraJavaOptions=-verbose:class'