Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/apache-flex/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何在google cluoud composer和airflow 1.10上访问kubectl提供的at airflow_Airflow_Kubectl_Worker_Google Cloud Composer - Fatal编程技术网

如何在google cluoud composer和airflow 1.10上访问kubectl提供的at airflow

如何在google cluoud composer和airflow 1.10上访问kubectl提供的at airflow,airflow,kubectl,worker,google-cloud-composer,Airflow,Kubectl,Worker,Google Cloud Composer,我正在使用,在GCP上管理Apache 对于一个新项目,我正在使用新版本的Composer/Airflow(Composer:1.6.1,Airflow:1.10) 要通过外壳在气流处连接以检查损坏的DAG,说明: 开放式GCP外壳 连接到GKE群集 myuser@cloudshell:~kubectl去拿豆荚 myuser@cloudshell:~kubectl exec-it气流工作者-1a2b3c-xyz12-c气流工作者--/bin/bash 这在Airflow 1.9上运行良好,但在A

我正在使用,在GCP上管理Apache

对于一个新项目,我正在使用新版本的Composer/Airflow(Composer:1.6.1,Airflow:1.10)

要通过外壳在气流处连接以检查损坏的DAG,说明:

  • 开放式GCP外壳

  • 连接到GKE群集

  • myuser@cloudshell:~kubectl去拿豆荚

  • myuser@cloudshell:~kubectl exec-it气流工作者-1a2b3c-xyz12-c气流工作者--/bin/bash

  • 这在Airflow 1.9上运行良好,但在Airflow 1.10上,kubectl get pods(kubectl get pods)不显示worker pod(工作吊舱),而且我还没有找到有关如何在AF 1.10上访问Kubect的Airflow(气流)的文档

    有人能帮我吗

    _myuser_@cloudshell:~ (_Myproject_)$ kubectl get pods 
    NAME                                                        READY     STATUS      RESTARTS   AGE
    airflow-monitoring-564c8c7dc5-hxb62                         1/1       Running     0          17h
    airflow-redis-0                                             1/1       Running     0          17h
    airflow-sqlproxy-594dbf87b7-nmtbh                           1/1       Running     0          17h
    composer-agent-1a871e5e-fa97-4fa3-8843-d0b06718f7f6-rb4rj   0/1       Completed   0          12h
    composer-agent-41ee85f8-90f2-45a1-a148-883421775651-jfjz6   0/1       Completed   0          12h
    composer-agent-6984c0ef-4a0b-4150-bc6e-8a2996a5c38f-sd45f   0/1       Completed   0          17h
    composer-agent-97de1623-5772-496d-a0c0-54adefc00c5a-rq9w6   0/1       Completed   0          12h
    composer-agent-b3bc0dc6-6e95-4c9c-91d0-735755c2210f-tcxgg   0/1       Completed   0          73m
    composer-fluentd-daemon-bkn28                               1/1       Running     133        17h
    composer-fluentd-daemon-jvdlc                               1/1       Running     133        17h
    composer-fluentd-daemon-lchq9                               1/1       Running     133        17h
    composer-fluentd-daemon-wfzzr                               1/1       Running     133        17h
    

    为了适应就地版本升级,Cloud Composer现在在以运行版本命名的非默认命名空间中运行特定于版本的POD(工作程序和调度程序)。例如,它可能是这样的:

    $kubectl get ns | grep composer#ns=名称空间
    作曲家-1-6-1-airflow-1-10-1-04c210ec激活2d
    
    然后,您可以专门在该命名空间中查找群集资源:

    $kubectl get pods--namespace=composer-1-6-1-airflow-1-10-1-04c210ec
    名称就绪状态重新启动
    airflow-database-init-job-mhn87 0/1已完成0 2d
    气流调度器-748ff8dc88-g2k5q 2/2运行0 2d
    气流-worker-5767579d-csvcg 2/2运行0 2d
    气流-worker-5767579d-d8fgd 2/2运行0 2d
    气流-worker-5767579d-tlwpc 2/2运行0 2d
    
    如果更方便,还可以列出所有名称空间中的资源:

    $kubectl获取pods--所有名称空间#或-A
    
    $kubectl获得吊舱-一个| grep气流
    composer-1-6-1-airflow-1-10-1-04c210ec airflow-database-init-job-mhn87 0/1已完成0 2d
    composer-1-6-1-airflow-1-10-1-04c210ec airflow-scheduler-748ff8dc88-g2k5q 2/2运行0 2d
    作曲家-1-6-1-airflow-1-10-1-04c210ec airflow-worker-5767579d-csvcg 2/2运行0 2d
    composer-1-6-1-airflow-1-10-1-04c210ec airflow-worker-5767579d-d8fgd 2/2运行0 2d
    作曲家-1-6-1-airflow-1-10-1-04c210ec airflow-worker-5767579d-tlwpc 2/2运行0 2d
    默认气流监测-f78cd5c75-2n727 1/1运行0 2d
    默认气流-redis-0 1/1运行0 2d
    默认气流-sqlproxy-57b7976d59-qnkm7 1/1运行0 2d
    

    有关如何通过SSH连接到其中一个工作程序或计划程序播客的示例:

    #长格式
    $kubectl执行官\
    --stdin--tty\
    --名称空间=编写器-1-8-1-AIFLOW-1-10-3-6e595c80
    airflow-scheduler-58948b8956-4sxwt/bin/bash
    #缩略形式
    $kubectl执行官-it\
    -n组合器-1-8-1-airflow-1-10-3-6e595c80
    airflow-scheduler-58948b8956-4sxwt bash
    
    为了适应就地版本升级,Cloud Composer现在在以运行版本命名的非默认命名空间中运行特定于版本的POD(工作程序和调度程序)。例如,它可能是这样的:

    $kubectl get ns | grep composer#ns=名称空间
    作曲家-1-6-1-airflow-1-10-1-04c210ec激活2d
    
    然后,您可以专门在该命名空间中查找群集资源:

    $kubectl get pods--namespace=composer-1-6-1-airflow-1-10-1-04c210ec
    名称就绪状态重新启动
    airflow-database-init-job-mhn87 0/1已完成0 2d
    气流调度器-748ff8dc88-g2k5q 2/2运行0 2d
    气流-worker-5767579d-csvcg 2/2运行0 2d
    气流-worker-5767579d-d8fgd 2/2运行0 2d
    气流-worker-5767579d-tlwpc 2/2运行0 2d
    
    如果更方便,还可以列出所有名称空间中的资源:

    $kubectl获取pods--所有名称空间#或-A
    
    $kubectl获得吊舱-一个| grep气流
    composer-1-6-1-airflow-1-10-1-04c210ec airflow-database-init-job-mhn87 0/1已完成0 2d
    composer-1-6-1-airflow-1-10-1-04c210ec airflow-scheduler-748ff8dc88-g2k5q 2/2运行0 2d
    作曲家-1-6-1-airflow-1-10-1-04c210ec airflow-worker-5767579d-csvcg 2/2运行0 2d
    composer-1-6-1-airflow-1-10-1-04c210ec airflow-worker-5767579d-d8fgd 2/2运行0 2d
    作曲家-1-6-1-airflow-1-10-1-04c210ec airflow-worker-5767579d-tlwpc 2/2运行0 2d
    默认气流监测-f78cd5c75-2n727 1/1运行0 2d
    默认气流-redis-0 1/1运行0 2d
    默认气流-sqlproxy-57b7976d59-qnkm7 1/1运行0 2d
    

    有关如何通过SSH连接到其中一个工作程序或计划程序播客的示例:

    #长格式
    $kubectl执行官\
    --stdin--tty\
    --名称空间=编写器-1-8-1-AIFLOW-1-10-3-6e595c80
    airflow-scheduler-58948b8956-4sxwt/bin/bash
    #缩略形式
    $kubectl执行官-it\
    -n组合器-1-8-1-airflow-1-10-3-6e595c80
    气流sc