如何在google cluoud composer和airflow 1.10上访问kubectl提供的at airflow
我正在使用,在GCP上管理Apache 对于一个新项目,我正在使用新版本的Composer/Airflow(Composer:1.6.1,Airflow:1.10) 要通过外壳在气流处连接以检查损坏的DAG,说明:如何在google cluoud composer和airflow 1.10上访问kubectl提供的at airflow,airflow,kubectl,worker,google-cloud-composer,Airflow,Kubectl,Worker,Google Cloud Composer,我正在使用,在GCP上管理Apache 对于一个新项目,我正在使用新版本的Composer/Airflow(Composer:1.6.1,Airflow:1.10) 要通过外壳在气流处连接以检查损坏的DAG,说明: 开放式GCP外壳 连接到GKE群集 myuser@cloudshell:~kubectl去拿豆荚 myuser@cloudshell:~kubectl exec-it气流工作者-1a2b3c-xyz12-c气流工作者--/bin/bash 这在Airflow 1.9上运行良好,但在A
_myuser_@cloudshell:~ (_Myproject_)$ kubectl get pods
NAME READY STATUS RESTARTS AGE
airflow-monitoring-564c8c7dc5-hxb62 1/1 Running 0 17h
airflow-redis-0 1/1 Running 0 17h
airflow-sqlproxy-594dbf87b7-nmtbh 1/1 Running 0 17h
composer-agent-1a871e5e-fa97-4fa3-8843-d0b06718f7f6-rb4rj 0/1 Completed 0 12h
composer-agent-41ee85f8-90f2-45a1-a148-883421775651-jfjz6 0/1 Completed 0 12h
composer-agent-6984c0ef-4a0b-4150-bc6e-8a2996a5c38f-sd45f 0/1 Completed 0 17h
composer-agent-97de1623-5772-496d-a0c0-54adefc00c5a-rq9w6 0/1 Completed 0 12h
composer-agent-b3bc0dc6-6e95-4c9c-91d0-735755c2210f-tcxgg 0/1 Completed 0 73m
composer-fluentd-daemon-bkn28 1/1 Running 133 17h
composer-fluentd-daemon-jvdlc 1/1 Running 133 17h
composer-fluentd-daemon-lchq9 1/1 Running 133 17h
composer-fluentd-daemon-wfzzr 1/1 Running 133 17h
为了适应就地版本升级,Cloud Composer现在在以运行版本命名的非默认命名空间中运行特定于版本的POD(工作程序和调度程序)。例如,它可能是这样的:
$kubectl get ns | grep composer#ns=名称空间
作曲家-1-6-1-airflow-1-10-1-04c210ec激活2d
然后,您可以专门在该命名空间中查找群集资源:
$kubectl get pods--namespace=composer-1-6-1-airflow-1-10-1-04c210ec
名称就绪状态重新启动
airflow-database-init-job-mhn87 0/1已完成0 2d
气流调度器-748ff8dc88-g2k5q 2/2运行0 2d
气流-worker-5767579d-csvcg 2/2运行0 2d
气流-worker-5767579d-d8fgd 2/2运行0 2d
气流-worker-5767579d-tlwpc 2/2运行0 2d
如果更方便,还可以列出所有名称空间中的资源:
$kubectl获取pods--所有名称空间#或-A
$kubectl获得吊舱-一个| grep气流
composer-1-6-1-airflow-1-10-1-04c210ec airflow-database-init-job-mhn87 0/1已完成0 2d
composer-1-6-1-airflow-1-10-1-04c210ec airflow-scheduler-748ff8dc88-g2k5q 2/2运行0 2d
作曲家-1-6-1-airflow-1-10-1-04c210ec airflow-worker-5767579d-csvcg 2/2运行0 2d
composer-1-6-1-airflow-1-10-1-04c210ec airflow-worker-5767579d-d8fgd 2/2运行0 2d
作曲家-1-6-1-airflow-1-10-1-04c210ec airflow-worker-5767579d-tlwpc 2/2运行0 2d
默认气流监测-f78cd5c75-2n727 1/1运行0 2d
默认气流-redis-0 1/1运行0 2d
默认气流-sqlproxy-57b7976d59-qnkm7 1/1运行0 2d
有关如何通过SSH连接到其中一个工作程序或计划程序播客的示例:
#长格式
$kubectl执行官\
--stdin--tty\
--名称空间=编写器-1-8-1-AIFLOW-1-10-3-6e595c80
airflow-scheduler-58948b8956-4sxwt/bin/bash
#缩略形式
$kubectl执行官-it\
-n组合器-1-8-1-airflow-1-10-3-6e595c80
airflow-scheduler-58948b8956-4sxwt bash
为了适应就地版本升级,Cloud Composer现在在以运行版本命名的非默认命名空间中运行特定于版本的POD(工作程序和调度程序)。例如,它可能是这样的:
$kubectl get ns | grep composer#ns=名称空间
作曲家-1-6-1-airflow-1-10-1-04c210ec激活2d
然后,您可以专门在该命名空间中查找群集资源:
$kubectl get pods--namespace=composer-1-6-1-airflow-1-10-1-04c210ec
名称就绪状态重新启动
airflow-database-init-job-mhn87 0/1已完成0 2d
气流调度器-748ff8dc88-g2k5q 2/2运行0 2d
气流-worker-5767579d-csvcg 2/2运行0 2d
气流-worker-5767579d-d8fgd 2/2运行0 2d
气流-worker-5767579d-tlwpc 2/2运行0 2d
如果更方便,还可以列出所有名称空间中的资源:
$kubectl获取pods--所有名称空间#或-A
$kubectl获得吊舱-一个| grep气流
composer-1-6-1-airflow-1-10-1-04c210ec airflow-database-init-job-mhn87 0/1已完成0 2d
composer-1-6-1-airflow-1-10-1-04c210ec airflow-scheduler-748ff8dc88-g2k5q 2/2运行0 2d
作曲家-1-6-1-airflow-1-10-1-04c210ec airflow-worker-5767579d-csvcg 2/2运行0 2d
composer-1-6-1-airflow-1-10-1-04c210ec airflow-worker-5767579d-d8fgd 2/2运行0 2d
作曲家-1-6-1-airflow-1-10-1-04c210ec airflow-worker-5767579d-tlwpc 2/2运行0 2d
默认气流监测-f78cd5c75-2n727 1/1运行0 2d
默认气流-redis-0 1/1运行0 2d
默认气流-sqlproxy-57b7976d59-qnkm7 1/1运行0 2d
有关如何通过SSH连接到其中一个工作程序或计划程序播客的示例:
#长格式
$kubectl执行官\
--stdin--tty\
--名称空间=编写器-1-8-1-AIFLOW-1-10-3-6e595c80
airflow-scheduler-58948b8956-4sxwt/bin/bash
#缩略形式
$kubectl执行官-it\
-n组合器-1-8-1-airflow-1-10-3-6e595c80
气流sc