Amazon s3 如何提交jar托管在S3对象存储中的SPARK作业

我有一个带有纱线的SPARK集群，我想把我工作的jar放到一个S3 100%兼容的对象存储中。如果我想提交这份工作，我会在谷歌上搜索，看起来就像这样： spark submit——master Thread——部署模式集群s3://my_u-bucket/jar\u文件 但是，S3对象存储需要用户名和密码才能访问。那么我如何配置这些凭证信息，让Spark从S3下载jar呢？

---

非常感谢

您可以从以下位置使用

默认凭证提供程序链

：

我需要从Maven下载以下jar并将其放入Spark jar目录，以便允许在

Spark submit

中使用

s3a

模式（注意，您可以使用

--packages

指令从jar内部引用这些依赖项，但不能从

Spark submit

本身引用）：

你试过了吗？

export AWS_ACCESS_KEY_ID=your_access_key
export AWS_SECRET_ACCESS_KEY=your_secret_key
./bin/spark-submit \
    --master local[2] \
    --class org.apache.spark.examples.SparkPi \
    s3a://your_bucket/.../spark-examples_2.11-2.4.6-SNAPSHOT.jar

// build Spark `assembly` project
sbt "project assembly" package
cd assembly/target/scala-2.11/jars/ 
wget https://repo1.maven.org/maven2/com/amazonaws/aws-java-sdk/1.7.4/aws-java-sdk-1.7.4.jar 
wget https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.7.7/hadoop-aws-2.7.7.jar