Python脚本和Apache Airflow调度器之间是否可以直接通信?

Python脚本和Apache Airflow调度器之间是否可以直接通信?,python,airflow,airflow-scheduler,Python,Airflow,Airflow Scheduler,我目前正在学习Apache Airflow,希望在某些事件上自动启动多个DAG。这些事件由一个简单的Python脚本接收和处理 我知道如何启动新DAG的唯一方法是运行Airflow scheduler旁边的Airflow Web服务器并调用此Web服务器的。这是可行的,但看起来像是从同一个系统调用web界面来调用同一个系统上的本地程序。是否可以直接与气流调度器交互 这可能是因为我还没有完全理解所有的概念,但是RESTAPI一次只允许一个请求。因此,我不可能并行启动多个DAG。从同一系统调用web

我目前正在学习Apache Airflow,希望在某些事件上自动启动多个DAG。这些事件由一个简单的Python脚本接收和处理

我知道如何启动新DAG的唯一方法是运行Airflow scheduler旁边的Airflow Web服务器并调用此Web服务器的。这是可行的,但看起来像是从同一个系统调用web界面来调用同一个系统上的本地程序。是否可以直接与气流调度器交互


这可能是因为我还没有完全理解所有的概念,但是RESTAPI一次只允许一个请求。因此,我不可能并行启动多个DAG。

从同一系统调用web界面来调用同一系统上的本地程序
-问题是:API是专门为与外部程序通信而创建的。无论您是部署在服务旁边还是部署在另一台服务器上,API都是为了让您不必访问或甚至不必知道服务内部的内容。至于“一次只需要一个请求”,您是否检查了需要多长时间?通常请求应该在瞬间完成(按照人类的标准)。即使计算结果需要很长时间,但最好立即返回一条消息,基本上是“嘿,这需要很长时间,结果将在[url]”(http状态代码202:“202已接受请求已被接受处理,但处理尚未完成。该请求可能最终会或可能不会被执行,并且在处理过程中可能会被拒绝”)因此,只有REST API可以保证通过指定的API在后端与调度程序进行正确的通信?我知道请求不会花费很长时间,以快速顺序启动多个DAG实际上没有问题。这是一个需要更好理解的问题。因此,在p中启动多个DAG是不可能的并行?您可以在线程中发送多个请求。但几秒钟有多大区别吗?如果您的处理时间很长,只需先执行整个处理,然后在循环中发送所有请求。