Kubernetes 安装Airflow'后,我需要采取哪些步骤;什么是舵图?

Kubernetes 安装Airflow'后,我需要采取哪些步骤;什么是舵图?,kubernetes,airflow,kubernetes-helm,Kubernetes,Airflow,Kubernetes Helm,我还在学习气流。我的目标是使用CeleryExecutor和舵图在Kubernetes(我使用的是AWS EKS)上部署气流。首先,我主要关注部署示例DAG 我安装了如下图表: helm安装气流钻头/气流\ --设置气流。loadExamples=true\ --设置web.baseUrl=http://127.0.0.1:8080 \ --设置身份验证用户名=$U用户\ --设置身份验证密码=$U密码\ --set auth.fernetKey=$afflow\u fernetKey=\ --

我还在学习气流。我的目标是使用
CeleryExecutor
和舵图在Kubernetes(我使用的是AWS EKS)上部署气流。首先,我主要关注部署示例DAG

我安装了如下图表:

helm安装气流钻头/气流\
--设置气流。loadExamples=true\
--设置web.baseUrl=http://127.0.0.1:8080 \
--设置身份验证用户名=$U用户\
--设置身份验证密码=$U密码\
--set auth.fernetKey=$afflow\u fernetKey=\
--设置postgresql.postgresqlPassword=$postgresql\u密码\
--设置redis.password=$redis\u password
我成功地部署了气流(使用了,但其他图表也有同样的问题),通过运行
kubectl get pods
I获得:

名称就绪状态重新启动
bitnami-release-airflow-scheduler-774d647447-j6vpd 1/1运行0 4m6s
bitnami-release-airflow-web-5897c99754-hq6nr 1/1运行0 4m6s
bitnami-release-airflow-worker-0 0/1运行0 4m6s
bitnami-release-postgresql-0 1/1运行0 4m6s
bitnami-release-redis-master-0 1/1运行0 4m6s
我已将端口从web服务器的pod转发到我的机器,但是,当我尝试运行示例DAG时,任务似乎卡在运行中。我后来在UI上发现一个错误:
调度程序似乎没有运行。最后一次心跳是在1分钟前收到的。
在我看来,调度程序已关闭

我尝试过的事情:

  • 通过以下方式在web服务器上手动运行
    init db
    kubectl exec-it-bitnami-release-afflow-web-5897c99754-hq6nr--bash-c“afflow initdb”
    (已成功,但未解决问题)
  • 手动运行
    airflow scheduler
    通过:
    kubectl exec-it bitnami-release-airflow-scheduler-774d647447-j6vpd--bash-c“airflow scheduler
    (任务开始添加到队列,但随后得到:
    错误-进程超时,PID:5957
  • 尝试完全不同的掌舵图(尝试了,但任务卡在
    运行
    状态时出现相同问题)
  • 安装Helm chart后,我需要采取哪些步骤?是否需要运行命令手动启动服务(例如调度程序)

    如有需要,乐意提供更多信息

    更新: 添加计划程序日志中的代码段:

    [2020-12-19 11:23:10,487] {scheduler_job.py:1195} INFO - Sending ('example_bash_operator', 'runme_2', datetime.datetime(2020, 12, 19, 11, 15, 41, 826557, tzinfo=<TimezoneInfo [UTC, GMT, +00:00:00, STD]>), 1) to executor with priority 3 and queue default
    [2020-12-19 11:23:10,487] {base_executor.py:58} INFO - Adding to queue: ['airflow', 'run', 'example_bash_operator', 'runme_2', '2020-12-19T11:15:41.826557+00:00', '--local', '--pool', 'default_pool', '-sd', '/opt/bitnami/airflow/venv/lib/python3.6/site-packages/airflow/example_dags/example_bash_operator.py']
    [2020-12-19 11:23:12,500] {timeout.py:42} ERROR - Process timed out, PID: 5957
    
    [2020-12-19 11:23:10487]{scheduler\u job.py:1195}信息-发送('example\u bash\u operator','runme\u 2',datetime.datetime(2020,12,19,11,15,41,826557,tzinfo=),1)给优先级为3且队列默认值的执行器
    [2020-12-19 11:23:10487]{base_executor.py:58}信息-添加到队列:['aiffort'、'run'、'example-bash-operator'、'runme-2'、'2020-12-19T11:15:41.826557+00:00'、'-local'、'-pool'、'default-pool'、'-sd'、'/opt/bitnami/aiffort/venv/lib/python3.6/site-packages/aiffort/example-dags/example-bash-operator.py']
    [2020-12-19 11:23:12500]{timeout.py:42}错误-进程超时,PID:5957
    
    我已设法解决该问题。其中一个节点的内存不足,我认为这是气流配置的问题,而不是Kubernetes的问题。

    我已设法解决该问题。其中一个节点的内存不足,我认为这是气流配置的问题,而不是问题使用Kubernetes。

    您可以检查/共享来自调度程序的日志吗?Hi@savsr我已经添加了调度程序日志的最后一部分。如果有帮助,我还可以添加完整日志。是否需要尝试手动启动调度程序?您可以检查/共享来自调度程序的日志吗?Hi@savsr我已经添加了调度程序日志的最后一部分。我可以如果有帮助,还可以添加完整日志。是否需要尝试手动启动计划程序?