Airflow 如何使用Google Cloud Composer CLI设置AWS凭据?
我想从cloud composer管理的气流系统访问AWS服务。我不想从airflow UI进行设置-我想使用作为CLI的Google Cloud SDK进行设置Airflow 如何使用Google Cloud Composer CLI设置AWS凭据?,airflow,google-cloud-composer,Airflow,Google Cloud Composer,我想从cloud composer管理的气流系统访问AWS服务。我不想从airflow UI进行设置-我想使用作为CLI的Google Cloud SDK进行设置 我在这里的唯一选项是使用CLI的env variables选项吗?如果是这样,我只需设置AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY env变量就足够了吗?或者我是否需要设置许多特定于气流的连接变量,例如s3气流连接默认值?您可以使用Cloud Composer SDK CLI通过隧道传输气流命令。例
我在这里的唯一选项是使用CLI的env variables选项吗?如果是这样,我只需设置AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY env变量就足够了吗?或者我是否需要设置许多特定于气流的连接变量,例如s3气流连接默认值?您可以使用Cloud Composer SDK CLI通过隧道传输气流命令。例如:
gcloud config set composer/location {your-env-location}
gcloud composer environments run {your-env-name} connections -- -a --conn_id your-aws-id --conn_type aws {any other connection details}
因此,如果要更新名为my env的环境的aws_默认连接,请首先删除预先存在的条目。此连接_id由气流通过以下命令预先填充:
gcloud composer环境运行我的环境连接--d-conn\u id aws\u默认值
然后按如下方式添加您的凭据:
gcloud composer环境运行数据湖连接--a-conn_id aws_default-conn_type aws-conn_extra'{地区名称:us-east-1,aws_访问密钥:您的访问密钥:此处,aws_secret_访问密钥:此处}
当然,您需要相应地更新AWS区域名称和CRED。您可以使用Cloud Composer SDK CLI通过隧道传输气流命令。例如:
gcloud config set composer/location {your-env-location}
gcloud composer environments run {your-env-name} connections -- -a --conn_id your-aws-id --conn_type aws {any other connection details}
因此,如果要更新名为my env的环境的aws_默认连接,请首先删除预先存在的条目。此连接_id由气流通过以下命令预先填充:
gcloud composer环境运行我的环境连接--d-conn\u id aws\u默认值
然后按如下方式添加您的凭据:
gcloud composer环境运行数据湖连接--a-conn_id aws_default-conn_type aws-conn_extra'{地区名称:us-east-1,aws_访问密钥:您的访问密钥:此处,aws_secret_访问密钥:此处}
当然,您需要相应地更新AWS地区名称和CRED。有没有办法使用初始gcloud composer环境创建命令来配置此功能?有没有办法使用初始gcloud composer环境创建命令来配置此功能?