获得;“对等方未经验证”;从CDH Hadoop群集连接到S3的异常
我正在尝试在hadoop CDH集群上运行hadoop作业,当hadoop作业尝试从S3 bucket读取数据时,会出现以下错误。看起来它正在尝试通过SSL进行连接。是否有任何方法可以显式禁用SSL连接获得;“对等方未经验证”;从CDH Hadoop群集连接到S3的异常,hadoop,ssl,amazon-s3,cloudera,Hadoop,Ssl,Amazon S3,Cloudera,我正在尝试在hadoop CDH集群上运行hadoop作业,当hadoop作业尝试从S3 bucket读取数据时,会出现以下错误。看起来它正在尝试通过SSL进行连接。是否有任何方法可以显式禁用SSL连接 javax.net.ssl.SSLPeerUnverifiedException: peer not authenticated at com.sun.net.ssl.internal.ssl.SSLSessionImpl.getPeerCertificates(SSLSessionImpl.j
javax.net.ssl.SSLPeerUnverifiedException: peer not authenticated
at com.sun.net.ssl.internal.ssl.SSLSessionImpl.getPeerCertificates(SSLSessionImpl.java:352)
at com.cloudera.org.apache.http.conn.ssl.AbstractVerifier.verify(AbstractVerifier.java:126)
at com.cloudera.org.apache.http.conn.ssl.SSLSocketFactory.connectSocket(SSLSocketFactory.java:437)
显然,在
core site.xml
中设置以下属性解决了这个问题。这将在连接到Amazon S3时禁用SSL连接。
参考:有关更多详细信息,请查看部分
<property>
<name>fs.s3a.connection.ssl.enabled</name>
<value>false</value>
</property>
fs.s3a.connection.ssl.enabled
假的
更新:在我的例子中,我使用rhel-6.6
和Cloudera Manager(CM)5.6.0
,当我将rhel
更新为rhel-6.10
时,我开始看到上面的错误。此错误的原因是,根据,rhel-6.10
与Cloudera Manager 5.6.0
不兼容。因此,我必须将Cloudera Manager升级到5.11.0以解决上述问题