Python 如何与芹菜一起使用气流
我不熟悉气流和芹菜,现在我已经画好了dag,但我想在同一子网中的两台计算机上运行任务,我想知道如何修改aiffort.cfg。有些例子可能更好。多亏了orz的回答。这本书很好地涵盖了这一点: 首先,你需要一个芹菜后端。例如,可以是Redis或RabbitMQ。然后,airflow.cfg中的executor参数应设置为Python 如何与芹菜一起使用气流,python,airflow,Python,Airflow,我不熟悉气流和芹菜,现在我已经画好了dag,但我想在同一子网中的两台计算机上运行任务,我想知道如何修改aiffort.cfg。有些例子可能更好。多亏了orz的回答。这本书很好地涵盖了这一点: 首先,你需要一个芹菜后端。例如,可以是Redis或RabbitMQ。然后,airflow.cfg中的executor参数应设置为CeleryExecutor 然后,在airflow.cfg的celery部分,将broker_url设置为指向芹菜后端(例如。redis://your_redis_host:yo
CeleryExecutor
然后,在airflow.cfg的celery
部分,将broker_url
设置为指向芹菜后端(例如。redis://your_redis_host:your_redis_port/1).
将芹菜\结果\后端指向sql数据库(您可以将其用作主数据库)
然后,在您的辅助机器上,只需启动airflow worker,您的作业就应该在这两台机器上开始。两台机器的airflow.cfg的代理url是否相同?我有一个问题,那就是airflow.cfg中的代理url。这台机器是否将任务发送到另一台机器并从中获取任务?这两台主机的代理url是相同的。气流假设气流群集的所有实例的配置文件都相同。broker_url不一定指向运行airflow的主机,而是指向芹菜后端(即Redis或RabbitMQ),请参阅如何立即为
airflow
链接404s设置芹菜
配置。应更新或应添加更多上下文来回答。@Matthijsbrons这是否意味着,如果我配置了芹菜+3个工人,然后(在web界面中)启动一个任务,该任务将以一式三份的形式运行(每个工人中有任务的三份副本)?