Google cloud platform cloud composer中DAG触发器的查询

Google cloud platform cloud composer中DAG触发器的查询,google-cloud-platform,google-bigquery,airflow,google-cloud-composer,Google Cloud Platform,Google Bigquery,Airflow,Google Cloud Composer,我有一个使用GoogleCloudComposer为bigquery调度和ETL作业的简单需求。我有三个暂存表(从GCS存储桶中的文件填充)和一个基表(通过连接三个暂存表加载)。我有一个用ETL工具编写的框架,当数据的相应文件到达使用云函数文件到达触发器实现的GCS存储桶时,它会将数据加载到bigquery暂存表中。我必须在composer DAG中设置一个依赖项,该依赖项表示在成功完成三个暂存表之后执行我的基表。 我的dag大致如下所示: 任务1:加载stg表1 任务2:加载stg表2 任务3

我有一个使用GoogleCloudComposer为bigquery调度和ETL作业的简单需求。我有三个暂存表(从GCS存储桶中的文件填充)和一个基表(通过连接三个暂存表加载)。我有一个用ETL工具编写的框架,当数据的相应文件到达使用云函数文件到达触发器实现的GCS存储桶时,它会将数据加载到bigquery暂存表中。我必须在composer DAG中设置一个依赖项,该依赖项表示在成功完成三个暂存表之后执行我的基表。 我的dag大致如下所示:

任务1:加载stg表1

任务2:加载stg表2

任务3:加载stg表3

任务库:加载基表

Task_base.setUpstream(Task_stg_1、Task_stg_2、Task_stg_3)

这很好,但问题是如何触发我的dag


我的ETL触发点是文件到达事件。在这种情况下,有三个暂存文件,即暂存任务将在其各自的文件到达触发器时触发。我是否必须为每个暂存文件多次触发DAG?在这种情况下,气流如何知道要执行哪个特定任务?

您计划如何触发DAG?这正是我正在努力解决的问题。是否可以使用cloud函数调用DAG内的任务?触发DAG是否会自动启动其中的任务?它会等待单个暂存任务的云功能触发吗?