Google cloud dataflow 在beam中每隔几分钟运行一次类似cron的任务?

Google cloud dataflow 在beam中每隔几分钟运行一次类似cron的任务?,google-cloud-dataflow,apache-beam,Google Cloud Dataflow,Apache Beam,My beam管道将数据导入bigquery,并且最近需要支持更新和删除。由于BigQuery对我一天可以执行的更新和删除的数量有每日限制,因此我需要一个单独的进程,每30分钟左右运行一次,以将更新和删除合并到主数据集中 有没有办法用ApacheBeam做到这一点?在计时器上运行并仅执行副作用,并确保仅在一台机器上执行的函数 如果我的所有代码都在同一个dataflow作业代码库中,并且如果dataflow作业未运行,它将不会执行,我非常希望这样做。否则,您应该使用Kubernetes Cronj

My beam管道将数据导入bigquery,并且最近需要支持更新和删除。由于BigQuery对我一天可以执行的更新和删除的数量有每日限制,因此我需要一个单独的进程,每30分钟左右运行一次,以将更新和删除合并到主数据集中

有没有办法用ApacheBeam做到这一点?在计时器上运行并仅执行副作用,并确保仅在一台机器上执行的函数


如果我的所有代码都在同一个dataflow作业代码库中,并且如果dataflow作业未运行,它将不会执行,我非常希望这样做。

否则,您应该使用Kubernetes Cronjobs。

否则,您应该使用Kubernetes Cronjobs。

您可以使用transform触发操作(合并更新和删除)以指定的频率。

您可以使用transform以指定的频率触发操作(合并更新和删除)。

是否使用云计划程序每隔30分钟重新启动管道


是否使用云计划程序每隔30分钟重新启动管道


你看过计时器吗?你看过计时器吗?请注意,GenerateSequence可以有效地并行生成其所有值,而无需考虑计时,因此对于每“n”分钟执行一次操作来说并不是很有用。.withTimestampFn()选项仅用于用时间戳标记序列号,它不影响频率。因此,您必须使用窗口和触发,以每“n”分钟实际输出一个序列值。请注意,GenerateSequence有效地并行生成其所有值,而不考虑计时,因此对于每“n”分钟执行一次操作并不太有用。.withTimestampFn()选项仅用于用时间戳标记序列号,它不影响频率。因此,您必须使用窗口和触发,以每“n”分钟实际输出一个序列值。