Airflow 在每个批次的循环中运行任务

Airflow 在每个批次的循环中运行任务,airflow,Airflow,我需要一次处理一个文件中的多个批次的行。我最初设想的任务是将文件分为x批。将每个批提交给Task-B,以便B可以处理传入的批(调用另一个REST端点)。我想知道当我们按顺序构造每一批行时,是否有一种方法可以让一个任务(a)调用循环中的另一个任务(B)?所以B可以处理那批货 如果没有,你有没有一个更好的方法来设计这个批处理系统的建议?其中一项要求是能够在飞行中停止/启动此文件处理,并能够同时运行多个文件。能否提供一段代码,让您的问题更清楚?嘿,Mahsa,我现在没有代码。但我想分批处理一个文件。所

我需要一次处理一个文件中的多个批次的行。我最初设想的任务是将文件分为x批。将每个批提交给Task-B,以便B可以处理传入的批(调用另一个REST端点)。我想知道当我们按顺序构造每一批行时,是否有一种方法可以让一个任务(a)调用循环中的另一个任务(B)?所以B可以处理那批货


如果没有,你有没有一个更好的方法来设计这个批处理系统的建议?其中一项要求是能够在飞行中停止/启动此文件处理,并能够同时运行多个文件。

能否提供一段代码,让您的问题更清楚?嘿,Mahsa,我现在没有代码。但我想分批处理一个文件。所以我希望在一个任务中转换前100行,然后再处理下一个任务。一旦在序列转换中完成,然后处理下一个100行,等等。这意味着我需要在每次迭代中以100行的循环进行。可能吗?