Apache spark Mesos上的Spark：如何为driver和executor docker运行提供环境变量

我们在宇宙中的Mesos中使用spark框架，通过设置

SPARK_JAVA_OPTS="-Dspark.mesos.executor.docker.image=mesosphere/spark:1.0.8-2.1.0-1-hadoop-2.6". 

我们可以通过以下方式在群集模式下提交作业：

./bin/spark-submit --deploy-mode cluster --class org.apache.spark.examples.SparkPi --master mesos://xx.xx.xx.xxx:xxxx --executor-memory 2G --total-executor-cores 12 --driver-memory 1G https://s3-us-west-2.amazonaws.com/xxxxx/spark-examples_2.11-2.1.0.jar 20000

这成功地将spark executors&tasks作为docker容器在多个mesos节点上启动

在我们的mesos中，我们有来自lyft（）的容器范围的角色

现在，我想使用spark执行器和任务自己的容器角色来运行它们，基本上需要我们为docker run命令设置一个环境变量IAM_ROLE=xxx。 例：

---

如何使用./bin/spark submit启动spark应用程序，并将IAM_角色作为所有执行器和任务的环境变量，这些执行器和任务在mesos节点上以docker运行命令启动。

spark.executeEnv。可以使用一些

名称来设置变量，但如果在启动容器时必须设置它，我认为这对您没有帮助。是的。我想为docker run设置环境变量

docker run -d -e IAM_ROLE=xxxx alpine:xxx