Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/306.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 如何与芹菜一起使用气流_Python_Airflow - Fatal编程技术网

Python 如何与芹菜一起使用气流

Python 如何与芹菜一起使用气流,python,airflow,Python,Airflow,我不熟悉气流和芹菜,现在我已经画好了dag,但我想在同一子网中的两台计算机上运行任务,我想知道如何修改aiffort.cfg。有些例子可能更好。多亏了orz的回答。这本书很好地涵盖了这一点: 首先,你需要一个芹菜后端。例如,可以是Redis或RabbitMQ。然后,airflow.cfg中的executor参数应设置为CeleryExecutor 然后,在airflow.cfg的celery部分,将broker_url设置为指向芹菜后端(例如。redis://your_redis_host:yo

我不熟悉气流和芹菜,现在我已经画好了dag,但我想在同一子网中的两台计算机上运行任务,我想知道如何修改aiffort.cfg。有些例子可能更好。多亏了orz的回答。

这本书很好地涵盖了这一点:

首先,你需要一个芹菜后端。例如,可以是Redis或RabbitMQ。然后,airflow.cfg中的executor参数应设置为
CeleryExecutor

然后,在airflow.cfg的
celery
部分,将
broker_url
设置为指向芹菜后端(例如。redis://your_redis_host:your_redis_port/1). 将芹菜\结果\后端指向sql数据库(您可以将其用作主数据库)


然后,在您的辅助机器上,只需启动airflow worker,您的作业就应该在这两台机器上开始。

两台机器的airflow.cfg的代理url是否相同?我有一个问题,那就是airflow.cfg中的代理url。这台机器是否将任务发送到另一台机器并从中获取任务?这两台主机的代理url是相同的。气流假设气流群集的所有实例的配置文件都相同。broker_url不一定指向运行airflow的主机,而是指向芹菜后端(即Redis或RabbitMQ),请参阅如何立即为
airflow
链接404s设置
芹菜
配置。应更新或应添加更多上下文来回答。@Matthijsbrons这是否意味着,如果我配置了芹菜+3个工人,然后(在web界面中)启动一个任务,该任务将以一式三份的形式运行(每个工人中有任务的三份副本)?