Python 气流:如何为操作员列表设置_dowstream
有人能帮我吗?我想为我的操作员列表设置_下游。但它们并不一致Python 气流:如何为操作员列表设置_dowstream,python,airflow,Python,Airflow,有人能帮我吗?我想为我的操作员列表设置_下游。但它们并不一致 for start_date, end_date in zip(start_dates_lst, end_dates_lst): dynamic_clear_load_data_task.append(PythonOperator( task_id=f'data_clearing_{start_date}_{end_date}_task', op_kwargs={'tab
for start_date, end_date in zip(start_dates_lst, end_dates_lst):
dynamic_clear_load_data_task.append(PythonOperator(
task_id=f'data_clearing_{start_date}_{end_date}_task',
op_kwargs={'table_name': USERS_TAB,
'schema': TABLEAU_SCHEMA,
'all_users_task_id': f'select_all_{start_date}_{end_date}_users_task'},
python_callable=delete_rows,
provide_context=True,
pool=POOL_LONG
))
dynamic_clear_load_data_task.append(VerticaToVerticaOperator(
task_id=f'data_loading_{start_date}_{end_date}_task',
tasks=[f'select_all_{start_date}_{end_date}_users_task'],
vertica_table=USERS_TAB,
schema=TABLEAU_SCHEMA,
action='create',
pool=POOL_LONG
))
for index, task in enumerate(dynamic_clear_load_data_task[1:]):
dynamic_clear_load_data_task[index - 1].set_downstream(task)
但我在蟒蛇术后并没有眩晕过度。我得到了所有的VerticatOvertic操作员,只有在他们之后我才得到所有的Python操作员。
我想在VerticatOvertica操作符日期之后按日期获取PythonOperator,我不知道为什么,但一切都正常,然后我对操作符的另一部分进行了注释。请参见
chain(task_1, task_2, task_3, task_4)
task_1.set_downstream(task_2)
task_2.set_downstream(task_3)
task_3.set_downstream(task_4)
# also you can do
l = list(task_1, task_2, task_3, task_4)
chain(*l)