Airflow 使用gcloud CLI在Cloud Composer上创建气流连接

Airflow 使用gcloud CLI在Cloud Composer上创建气流连接,airflow,gcloud,google-cloud-composer,Airflow,Gcloud,Google Cloud Composer,我正在尝试使用gcloud CLI在Cloud Composer上创建气流连接。 我遵循文档并运行以下注释。 已成功创建连接,但项目ID、密钥文件路径和作用域为空。因此,连接无效 当我手动创建时,这些属性不是空的。我错过什么了吗 作曲家图片:Composer-1.5.0-airflow-1.10.1我无法复制它。当我运行以下命令时,连接确实会与extras字段一起添加: gcloud composer environments run my-env \ --project my-proje

我正在尝试使用gcloud CLI在Cloud Composer上创建气流连接。 我遵循文档并运行以下注释。

已成功创建连接,但项目ID、密钥文件路径和作用域为空。因此,连接无效

当我手动创建时,这些属性不是空的。我错过什么了吗


作曲家图片:Composer-1.5.0-airflow-1.10.1

我无法复制它。当我运行以下命令时,连接确实会与extras字段一起添加:

gcloud composer environments run my-env \
  --project my-project \
  --location europe-west1 \
  connections -- --add \
  --conn_id=my-conn-id \
  --conn_type=google_cloud_platform \
  --conn_extra='{"extra__google_cloud_platform__project": "my-project", "extra__google_cloud_platform__key_path":"/tesf"}

我无法复制它。当我运行以下命令时,连接确实会与extras字段一起添加:

gcloud composer environments run my-env \
  --project my-project \
  --location europe-west1 \
  connections -- --add \
  --conn_id=my-conn-id \
  --conn_type=google_cloud_platform \
  --conn_extra='{"extra__google_cloud_platform__project": "my-project", "extra__google_cloud_platform__key_path":"/tesf"}

在转义引号上发现一些语法错误。这个很好用

$ CONNECTION_CREATE_COMMAND="gcloud composer environments run $COMPOSER_ENVIRONMENT \
  --project $COMPOSER_PROJECT \
  --location ${COMPOSER_LOCATION} \
  connections -- --add \
  --conn_id=${CONN_ID_BASE}_${app}_${c} \
  --conn_type=google_cloud_platform \
  --conn_extra '{\"extra__google_cloud_platform__project\": \"${BQ_PROJECT}\", \
                 \"extra__google_cloud_platform__key_path\": \"${KEY_JSON_FILE_PATH}\", \
                 \"extra__google_cloud_platform__scope\": \"https://www.googleapis.com/auth/cloud-platform\"}'"
$ eval $CONNECTION_CREATE_COMMAND

在转义引号上发现一些语法错误。这个很好用

$ CONNECTION_CREATE_COMMAND="gcloud composer environments run $COMPOSER_ENVIRONMENT \
  --project $COMPOSER_PROJECT \
  --location ${COMPOSER_LOCATION} \
  connections -- --add \
  --conn_id=${CONN_ID_BASE}_${app}_${c} \
  --conn_type=google_cloud_platform \
  --conn_extra '{\"extra__google_cloud_platform__project\": \"${BQ_PROJECT}\", \
                 \"extra__google_cloud_platform__key_path\": \"${KEY_JSON_FILE_PATH}\", \
                 \"extra__google_cloud_platform__scope\": \"https://www.googleapis.com/auth/cloud-platform\"}'"
$ eval $CONNECTION_CREATE_COMMAND

您使用的是什么版本的Composer/Airflow?我使用的是Composer-1.5.0-Airflow-1.10.1如果您在JSON文本中使用长行而不是引用的换行符(并切换到
conn extra
,如警告所示),它是否有效?空壳报价是地狱。我还希望
”不需要引用,但如果需要引用,在
\\\
中只引用两个下划线中的一个似乎不太可能起作用。官方文件建议使用反斜杠您使用的是哪种版本的Composer/Airflow?我使用的是Composer-1.5.0-Airflow-1.10.1如果您在JSON文本中使用长行而不是引用的换行符,是否有效(并切换到
conn extra
,如警告所示)?Shell引用是地狱。我也希望
\\\
不需要引用,但如果需要,只引用
\\\\\\\/code>中的两个下划线中的一个似乎不太可能起作用。官方文件建议使用反斜杠,在控制台上运行命令似乎没问题。从Shell脚本运行此命令不起作用。看起来像r在控制台上运行命令没有问题。从shell脚本运行此命令无效。