Airflow 当出现新消息时,气流中的Sqs传感器未触发
我是个新手。每当SQS中有消息时,我都会尝试运行我的dag。 我正在使用SQSSensor做同样的事情。它在第一次运行时被触发,但之后当出现新消息时,它不会调用 如果我遗漏了什么,请告诉我Airflow 当出现新消息时,气流中的Sqs传感器未触发,airflow,amazon-sqs,job-scheduling,Airflow,Amazon Sqs,Job Scheduling,我是个新手。每当SQS中有消息时,我都会尝试运行我的dag。 我正在使用SQSSensor做同样的事情。它在第一次运行时被触发,但之后当出现新消息时,它不会调用 如果我遗漏了什么,请告诉我 default_args = { 'owner': 'Airflow', 'start_date': days_ago(2), 'provide_context': True, } dag = DAG('sqs_test', default_args=default_args, sc
default_args = {
'owner': 'Airflow',
'start_date': days_ago(2),
'provide_context': True,
}
dag = DAG('sqs_test', default_args=default_args, schedule_interval='@daily')
task = SQSSensor(
task_id='sqs_test',
poke_interval=0,
timeout=10,
sqs_queue='https://sqs.us-east-1.amazonaws.com/accountid/test',
aws_conn_id='aws_default',
max_message=1,
dag=dag)
它不会在每个新消息出现时调用,因为计划间隔设置为@daily。所以它将在第二天运行(按照计划间隔),然后从SQS队列中获取消息
需要注意的是:SQSSensor只是SQSQUE上的传感器,基本上用于轮询Que。DAG的触发器仍然是我们在DAG定义中指定的计划。谢谢这似乎是正确的,我将检查并更新您是否有方法基于SQS消息触发DAG?