Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/xamarin/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Airflow多次提交同一查询_Airflow - Fatal编程技术网

Airflow多次提交同一查询

Airflow多次提交同一查询,airflow,Airflow,我们在airflow中面临一个问题,它多次执行相同的查询 我们检查了当时只有一个DAG实例正在运行。 在web UI中,选中了已运行的任务实例,但它只显示一个任务日志 总共有4个工作节点,在检查工作节点日志后发现, 工作节点1:此工作节点在01.00时执行的DML任务 工作节点2:未执行DML,但在01.00时仅排队尝试1 工作节点3:01.00时此节点上没有运行任务 工作节点4:此工作节点在01.00执行的相同DML任务 工作节点1和节点4同时向服务器提交了相同的DML 有没有办法避免不同工作

我们在airflow中面临一个问题,它多次执行相同的查询

我们检查了当时只有一个DAG实例正在运行。 在web UI中,选中了已运行的任务实例,但它只显示一个任务日志

总共有4个工作节点,在检查工作节点日志后发现, 工作节点1:此工作节点在01.00时执行的DML任务 工作节点2:未执行DML,但在01.00时仅排队尝试1 工作节点3:01.00时此节点上没有运行任务 工作节点4:此工作节点在01.00执行的相同DML任务

工作节点1和节点4同时向服务器提交了相同的DML


有没有办法避免不同工作节点多次提交同一查询?

通过查询,您的意思是它在一次DAG运行中多次执行任务?这是什么类型的操作员?任务日志中有没有线索表明它已经运行了不止一次?我们在BashOperator和PythonOperator中观察到了这个问题。BashOperator问题:根据我们的要求,我们希望在循环中运行DAG,因此我们在BashOperator中使用“CURL”命令使用RESTAPI触发相同的DAG,并且我们观察到BashOperator多次触发DAG。PythonOperator:我们正在执行一些sql,发现同一个sql查询被airflow提交到服务器两次。在我们开始面临此问题之后,我们在几个DAG中运行了“airflow backpl”命令。“airflow backfill”命令能导致此问题吗?