如何在aws emr中为pyspark executor设置环境变量？

我有一个运行pyspark应用程序（或步骤，如AWS EMR中所称）的AWS EMR集群

我想为pyspark应用程序设置环境变量，并将其放入集群配置（在谷歌搜索之后）：

在pyspark进程中，环境变量By不可用

我还尝试：

[
  {
    "Classification": "yarn-env",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "MY_ENV": "some-value",
        }
      }
    ]
  }
]

然后通过以下方式输出环境变量：

print(os.environ)

MY_ENV

在任何情况下都不会显示

---

如何将环境变量传递给我的pyspark应用程序？

能否尝试将其放入

spark env

中

[
{
   "Classification": "spark-env",
   "Properties": {},
   "Configurations": [
       {
         "Classification": "export",
         "Properties": {
             "MY_ENV": "some-value",
         }
       }
   ]
 }
]

---

您可以分享如何将此配置文件传递给aws emr create cluster

steps@A.B我通过terraform实现了这一点，在terraform中，当我将此配置发布到json文件中时，我会直接将其放入其中。如果有帮助，请随意上传并接受它作为答案：）
[
{
   "Classification": "spark-env",
   "Properties": {},
   "Configurations": [
       {
         "Classification": "export",
         "Properties": {
             "MY_ENV": "some-value",
         }
       }
   ]
 }
]