Cloud 如何设置气流DAG以在触发下一个数据流作业之前完成上一个数据流任务?

Cloud 如何设置气流DAG以在触发下一个数据流作业之前完成上一个数据流任务?,cloud,airflow,dataflow,Cloud,Airflow,Dataflow,我在Google Cloud Composer中从Airflow调用数据流作业 a >> b >> c a、 b和c是调用数据流作业的任务。 我只想在数据流作业完成后运行b,问题是它们都同时运行 如何等待上一个作业完成?放置作业后,需要放置一个传感器来验证作业是否完成 例如: start_python_job_async = DataflowCreatePythonJobOperator( task_id="start-python-jo

我在Google Cloud Composer中从Airflow调用数据流作业

a >> b >> c
a、 b和c是调用数据流作业的任务。 我只想在数据流作业完成后运行b,问题是它们都同时运行


如何等待上一个作业完成?

放置作业后,需要放置一个传感器来验证作业是否完成

例如:

   start_python_job_async = DataflowCreatePythonJobOperator(
        task_id="start-python-job-async",
        py_file=GCS_PYTHON,
        py_options=[],
        job_name='{{task.task_id}}',
        options={
            'output': GCS_OUTPUT,
        },
        py_requirements=['apache-beam[gcp]==2.25.0'],
        py_interpreter='python3',
        py_system_site_packages=False,
        location='europe-west3',
        wait_until_finished=False,
    )

    wait_for_python_job_async_done = DataflowJobStatusSensor(
        task_id="wait-for-python-job-async-done",
        job_id="{{task_instance.xcom_pull('start-python-job-async')['job_id']}}",
        expected_statuses={DataflowJobStatus.JOB_STATE_DONE},
        location='europe-west3',
    )

    start_python_job_async >> wait_for_python_job_async_done
您可以查看并进一步解释

您可能希望检查此处是否实现,以确定是否完成了上一个DAG。