Google cloud platform 如何在数据流作业完成后从云存储中删除文件

Google cloud platform 如何在数据流作业完成后从云存储中删除文件,google-cloud-platform,google-cloud-storage,google-cloud-dataflow,Google Cloud Platform,Google Cloud Storage,Google Cloud Dataflow,在GCP中,我有一个数据流作业,负责将文件从云存储复制到大查询。我希望在成功插入大查询后删除这些文件。有人能提供如何实现这一点以及如何在前一个作业成功后触发另一个作业的指针吗?对于这些类型的场景,通常建议您在体系结构中引入一个用于调度和工作负载编排的工具。GoogleCloud提供了一个托管版本来解决这个用例。您可以在Composer中安排DAG(有向无环图)来启动数据流作业,然后在作业运行成功后,执行其他任务以清理文件或启动下一个进程 示例DAG 要开始使用,我建议查看Cloud Compo

在GCP中,我有一个数据流作业,负责将文件从云存储复制到大查询。我希望在成功插入大查询后删除这些文件。有人能提供如何实现这一点以及如何在前一个作业成功后触发另一个作业的指针吗?

对于这些类型的场景,通常建议您在体系结构中引入一个用于调度和工作负载编排的工具。GoogleCloud提供了一个托管版本来解决这个用例。您可以在Composer中安排DAG(有向无环图)来启动数据流作业,然后在作业运行成功后,执行其他任务以清理文件或启动下一个进程

示例DAG


要开始使用,我建议查看Cloud Composer以及与您的用例类似的那些组件。

对于这些类型的场景,通常建议您在体系结构中引入一个用于调度和工作负载编排的工具。GoogleCloud提供了一个托管版本来解决这个用例。您可以在Composer中安排DAG(有向无环图)来启动数据流作业,然后在作业运行成功后,执行其他任务以清理文件或启动下一个进程

示例DAG


首先,我建议您查看Cloud Composer,以及与您的用例类似的内容。

非常感谢@Ryan McDowell。这就是我要找的。请更新Cloud Composer示例链接:非常感谢@Ryan McDowell。这就是我要找的。请更新Cloud Composer示例链接: