Amazon web services 此工厂未使用火花流和AWS创建插座

我在使用spark streaming S3访问时遇到了此异常

java.lang.IllegalStateException: Socket not created by this factory
at org.apache.http.util.Asserts.check(Asserts.java:34)
at org.apache.http.conn.ssl.SSLSocketFactory.isSecure(SSLSocketFactory.java:435)...
at com.amazonaws.http.AmazonHttpClient.execute(AmazonHttpClient.java:310)...

at org.apache.hadoop.fs.s3a.S3AFileSystem.verifyBucketExists ...

我尝试了这些步骤（从其他线程，如或），但没有成功

• 对所有amazonaws和apache http JAR进行着色
• 将httpclient和httpcore显式升级到4.5.x
• 将AmazonSDK升级到1.11.x
• 将hadoop升级到3.1.x

所有这些都不起作用，我现在被困了2天，这意味着我已经尝试了stackoverflow和internet中的大多数解决方案。还有其他想法吗？

这是“新的”，但spark已经升级到httpclient版本，在某些情况下会破坏hadoop 2.8中的s3a。这听起来像是症状之一

我建议您获取与您正在使用的spark版本一致的ASF hadoop下载，然后从该版本中下载（hadoop aws、aws-、http）JAR。或者使用-Phadoop云配置文件构建spark自己，让maven来完成这项工作