Airflow 气流DAG";似乎只存在于当地。主计划程序没有';“我似乎没有意识到它的存在。”;

Airflow 气流DAG";似乎只存在于当地。主计划程序没有';“我似乎没有意识到它的存在。”;,airflow,Airflow,我将气流用于Spark作业的工作流。安装后,我将DAG文件复制到airflow.cfg中设置的DAG文件夹中。我可以回填DAG以成功运行Bash操作符。但总有一个像上面提到的那样的警告。我没有验证调度是否正常,但我怀疑调度是否可以工作,因为警告说主调度程序不知道我的DAG的存在。如何消除此警告并获得调度工作?有谁遇到过同样的问题,谁能帮我解决吗?这通常与计划程序未运行或刷新间隔过宽有关。没有日志条目,因此我们无法从中进行分析。此外,不幸的是,原因可能被忽略,因为这通常是问题的根源: 我没有核实日

我将气流用于Spark作业的工作流。安装后,我将DAG文件复制到airflow.cfg中设置的DAG文件夹中。我可以回填DAG以成功运行Bash操作符。但总有一个像上面提到的那样的警告。我没有验证调度是否正常,但我怀疑调度是否可以工作,因为警告说主调度程序不知道我的DAG的存在。如何消除此警告并获得调度工作?有谁遇到过同样的问题,谁能帮我解决吗?

这通常与计划程序未运行或刷新间隔过宽有关。没有日志条目,因此我们无法从中进行分析。此外,不幸的是,原因可能被忽略,因为这通常是问题的根源:

我没有核实日程安排是否合理

因此,首先应检查以下两项服务是否都在运行:

airflow webserver


如果没有帮助,请参阅本文以获取更多参考信息:

感谢您的评论并感谢tobi,在调度程序启动后,警告将消失,除了上面的回答,即检查
airflow webserver
airflow scheduler
是否正在运行,确保在运行AIRFLOW Web服务器和schedular的环境中正确设置了环境变量
AIRFLOW_HOME
。我只是第一次测试气流,在一个终端中,我设置了运行webserver的环境变量,而在运行schedular的终端中,我忘了设置它。因此,我遇到了相同的错误。我遇到了相同的问题,我停止了webserver和scheduler,然后再次启动,尽管它显示了相同的消息。然后我重新启动了服务器,消息消失了。是的,请稍等片刻,重新启动schedular/worker应该会有所帮助
airflow scheduler