Airflow 使用气流进行实时作业编排

我有一个作为web服务运行的应用程序，它可以根据用户请求提交作业给Spark。需要限制每个用户的作业队列。我计划使用Airflow作为编排框架来管理作业队列，但尽管它支持并行DAG执行，但它针对批处理而非实时进行了优化。Airflow是否设计为每秒处理约200次DAG执行，并有多个队列（每个用户一个队列），或者我是否应该寻找替代方案？

是否有数据从一个任务移动到另一个任务？既然你提到实时，时间在这里重要吗。对于气流，工作流程通常是静态的或缓慢变化的。大多数情况下，对于ETL批处理，您可以加快气流心跳，但最好有一个带有用例的POC来测试。
以下为官方文件：

气流不是数据流解决方案。任务不会从中移动数据 一个对另一个（尽管任务可以交换元数据！）。气流不稳定 在火花流或风暴空间，它更类似于Oozie 还是阿兹卡班