Amazon s3 使用s3a获取驱动程序和执行程序中的火花罐

我正在尝试使用驱动程序/执行器模型在AWS上使用Spark。似乎没有一种方法可以设置驱动程序类路径，以便它可以使用hadoop aws jar和aws sdk jar来访问s3。我想从s3中取出我的工作罐

看起来我要么需要将所有这些类添加到spark assembly jar，要么需要修改spark类脚本以手动将这些jar添加到类路径

是否有一些侵入性较小的方法，例如，是否有任何方法可以在配置中的某个地方指定此方法

---

我正在运行1.6.1和hadoop 2.4，但我希望我也能使用2.6（同样的问题）。

不确定我是否理解正确，但您应该能够根据

---

我想，在使用

spark submit

时，通过指定

--jars

命令行选项也可以实现同样的效果，请参阅from

spark submit

不确定我是否理解正确，但是您应该能够根据设置设置

spark.driver.extraClassPath

和/或

spark.driver.extraclibrarypath

属性

在使用

spark submit

时，通过指定

--jars

命令行选项也可以实现同样的效果，请参见from

spark submit