Hadoop 如何在aws us-east-2上使用s3a和spark 2.1.0？

背景

我一直在为自己准备一个灵活的设置，以便在aws上使用docker swarm模式的spark。我使用的docker映像被配置为使用最新的spark，它在Hadoop 2.7.3中的版本是2.1.0，可以在上找到

这是可行的，我刚刚测试了我计划使用的各种连接路径。我遇到的问题是关于与s3交互的正确方式的不确定性。我已经了解了如何使用

s3a

协议和vs

s3n

协议为spark提供连接aws s3数据的依赖关系

我最终遇到了，并认为我正在关注如何提供配置。但是，我仍然收到

400错误请求

错误，如图所示，该错误描述了如何通过定义端点来修复它，我已经完成了这项工作

最后，我在

us-east-2

上，与标准配置相差太远，这让我无法确定jar文件是否有问题。为了消除地区问题，我在常规的

us-east-1

地区设置了一些东西，最终我能够连接到

s3a

。因此，我已经将问题缩小到该地区，但我认为我正在做其他地区运作所需的一切

问题

在spark中使用hadoop配置变量的正确方法是什么

注意：这个例子使用本地执行模式来简化事情

import os
import pyspark

在创建上下文后，我可以在笔记本的控制台中看到这些下载，添加这些内容使我从完全崩溃到出现错误请求

os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.amazonaws:aws-java-sdk:1.7.4,org.apache.hadoop:hadoop-aws:2.7.3 pyspark-shell'

conf = pyspark.SparkConf('local[1]')
sc = pyspark.SparkContext(conf=conf)
sql = pyspark.SQLContext(sc)

对于aws配置，我尝试了以下两种方法，只需使用上面的

conf

，并执行

conf.set（spark.hadoop.fs.）

模式，与我在下面所做的相同，除了这样做之外，我在创建spark上下文之前在

conf

上设置值

hadoop_conf = sc._jsc.hadoopConfiguration()

hadoop_conf.set("fs.s3.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
hadoop_conf.set("fs.s3a.endpoint", "s3.us-east-2.amazonaws.com")
hadoop_conf.set("fs.s3a.access.key", access_id)
hadoop_conf.set("fs.s3a.secret.key", access_key)

需要注意的是，我还尝试了

s3-us-east-2.amazonaws.com

的

us-east-2

的另一个端点

然后我从s3中读取一些拼花地板数据

df = sql.read.parquet('s3a://bucket-name/parquet-data-name')
df.limit(10).toPandas()

---

同样，在将EC2实例移动到us-east-1并注释掉端点配置之后，上面的内容对我很有用。在我看来，似乎出于某种原因没有使用endpoint config。

us-east-2是一个V4 auth S3实例，因此，在您尝试时，必须设置fs.s3a.endpoint值

如果未拾取，则假设您正在设置的配置不是用于访问存储桶的配置。知道Hadoop通过URI缓存文件系统实例，即使配置发生变化。第一次尝试访问文件系统时会修复配置，即使它缺少身份验证详细信息

一些策略

将该值设置为spark默认值

使用刚刚创建的配置，尝试通过调用

filesystem.get显式加载文件系统（新URI（“s3a://bucket name/parquet data name”，myConf）

将返回带有该配置的bucket（除非它已经存在）。不过我不知道如何在.py中进行调用

将属性

“fs.s3a.impl.disable.cache”

设置为true以在get命令之前绕过缓存

---

添加更多关于BadAuth错误的诊断，以及wiki页面，是S3A第三阶段列出的一项功能。如果您要添加它，以及测试，我可以查看它并将其放入

中，也许这一要点可以帮助您：您找到解决此问题的方法了吗？