Airflow 无法将请求的任务添加到DAG,因为任务id为的任务。。。已经在达格了
我以前见过一些对此的回应,但对我来说并不奏效。 我正在运行Bridge 1.10.15 airflow版本,以便我们可以迁移到airflow 2,我运行了airflow upgrade\u检查,发现以下错误: /usr/local/lib/python3.7/site-packages/aiffort/models/dag.py:1342: PendingDeprecationWarning:无法将请求的任务添加到 DAG id为snapchat\u snowflake\u的DAG每天都会出现,因为任务 任务id snp bl全球内容报告已在DAG中。 从Airflow 2.0开始,尝试覆盖任务将引发 例外 同样的错误正在发生,但任务id为:Airflow 无法将请求的任务添加到DAG,因为任务id为的任务。。。已经在达格了,airflow,Airflow,我以前见过一些对此的回应,但对我来说并不奏效。 我正在运行Bridge 1.10.15 airflow版本,以便我们可以迁移到airflow 2,我运行了airflow upgrade\u检查,发现以下错误: /usr/local/lib/python3.7/site-packages/aiffort/models/dag.py:1342: PendingDeprecationWarning:无法将请求的任务添加到 DAG id为snapchat\u snowflake\u的DAG每天都会出现,
snp\u bl\u global\u article\u reporting
和snp\u bl\u global\u video\u reporting
我还看到有人建议在我已有的aiffort.cfg文件中设置load\u examples=False
这是我的密码:
DAG_NAME = 'snapchat_snowflake_daily'
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime(2020, 6, 12),
'email_on_failure': True,
'email_on_retry': False,
'retries': 1,
'retry_delay': timedelta(minutes=5),
'provide_context': True,
'on_failure_callback': task_fail_slack_alert,
'sla': timedelta(hours=24),
}
dag = DAG(
DAG_NAME,
default_args=default_args,
catchup=False,
schedule_interval='0 3 * * *')
with dag:
s3_to_snowflake = SnowflakeLoadOperator(
task_id=f'load_into_snowflake_for_{region}',
pool='airflow_load',
retries=0, )
snp_il_global = SnowflakeQueryOperator(
task_id='snp_il_global',
sql='queries/snp_il_gl.sql',
retries=0)
snp_bl_global_video_reporting = SnowflakeQueryOperator(
task_id='snp_bl_global_video_reporting',
sql='snp_bl_gl_reporting.sql',
retries=0)
snp_bl_global_content_reporting = SnowflakeQueryOperator(
task_id='snp_bl_global_content_reporting',
sql='snp_bl_global_c.sql')
snp_bl_global_article_reporting = SnowflakeQueryOperator(
task_id='snp_bl_global_article_reporting',
sql='snp_bl_global_a.sql',
retries=0)
s3_to_snowflake >> snp_il_global >> [
snp_bl_global_video_reporting,
snp_bl_global_content_reporting,
snp_bl_global_article_reporting
]
您是否有可能在另一个DAG中将snp\u bl\u global\u content\u报告作为任务id?@Elad感谢您的回复!这是唯一具有这些任务id的DAG。我想知道它是否只是不喜欢dag底部的计划,以及它读取任务ID列表的方式,就像它们被覆盖/重用一样?【snp全球视频报道、snp全球内容报道、snp全球文章报道】不这么认为。我的想法是,您的问题是由于Kaxil在上所描述的,但如果您在其他dag中没有相同的
任务id
,则情况并非如此。@Elad,我没有具有相同任务id的dag,您知道还有什么可能吗?