Airflow |在多天内分批安排URL
我需要一些关于设置带气流的刮刀的建议 问题是，假设我有一个网站刮有一些3k链接。我想把它分成3批，每批1k，所有这些都必须在不同的日子运行 在这种情况下，什么是最好的方法？如果我们能做一些条件参数基调度。例如，我有excel作为我的数据源，所以在我可以提到的每个url旁边，比如批次号。。。现在，如果我们可以采用不同的计划，我们可以根据批次号进行安排吗Airflow |在多天内分批安排URL,airflow,airflow-scheduler,airflow-operator,Airflow,Airflow Scheduler,Airflow Operator,我需要一些关于设置带气流的刮刀的建议 问题是，假设我有一个网站刮有一些3k链接。我想把它分成3批，每批1k，所有这些都必须在不同的日子运行 在这种情况下，什么是最好的方法？如果我们能做一些条件参数基调度。例如，我有excel作为我的数据源，所以在我可以提到的每个url旁边，比如批次号。。。现在，如果我们可以采用不同的计划，我们可以根据批次号进行安排吗 希望这有点道理。请建议问题不清楚您是否可以添加更多详细信息，作业第一次运行时是否必须处理第一批等，为什么不使用3个不同的DAG和3个不同的计划？问
希望这有点道理。请建议问题不清楚您是否可以添加更多详细信息，作业第一次运行时是否必须处理第一批等，为什么不使用3个不同的DAG和3个不同的计划？问题不清楚您是否可以添加更多详细信息，作业第一次运行时是否必须处理第一批等，为什么不让3个不同的DAG有3个不同的时间表？