Google cloud dataflow 在beam中每隔几分钟运行一次类似cron的任务?
My beam管道将数据导入bigquery,并且最近需要支持更新和删除。由于BigQuery对我一天可以执行的更新和删除的数量有每日限制,因此我需要一个单独的进程,每30分钟左右运行一次,以将更新和删除合并到主数据集中 有没有办法用ApacheBeam做到这一点?在计时器上运行并仅执行副作用,并确保仅在一台机器上执行的函数Google cloud dataflow 在beam中每隔几分钟运行一次类似cron的任务?,google-cloud-dataflow,apache-beam,Google Cloud Dataflow,Apache Beam,My beam管道将数据导入bigquery,并且最近需要支持更新和删除。由于BigQuery对我一天可以执行的更新和删除的数量有每日限制,因此我需要一个单独的进程,每30分钟左右运行一次,以将更新和删除合并到主数据集中 有没有办法用ApacheBeam做到这一点?在计时器上运行并仅执行副作用,并确保仅在一台机器上执行的函数 如果我的所有代码都在同一个dataflow作业代码库中,并且如果dataflow作业未运行,它将不会执行,我非常希望这样做。否则,您应该使用Kubernetes Cronj
如果我的所有代码都在同一个dataflow作业代码库中,并且如果dataflow作业未运行,它将不会执行,我非常希望这样做。否则,您应该使用Kubernetes Cronjobs。否则,您应该使用Kubernetes Cronjobs。您可以使用transform触发操作(合并更新和删除)以指定的频率。您可以使用transform以指定的频率触发操作(合并更新和删除)。是否使用云计划程序每隔30分钟重新启动管道
是否使用云计划程序每隔30分钟重新启动管道
你看过计时器吗?你看过计时器吗?请注意,GenerateSequence可以有效地并行生成其所有值,而无需考虑计时,因此对于每“n”分钟执行一次操作来说并不是很有用。.withTimestampFn()选项仅用于用时间戳标记序列号,它不影响频率。因此,您必须使用窗口和触发,以每“n”分钟实际输出一个序列值。请注意,GenerateSequence有效地并行生成其所有值,而不考虑计时,因此对于每“n”分钟执行一次操作并不太有用。.withTimestampFn()选项仅用于用时间戳标记序列号,它不影响频率。因此,您必须使用窗口和触发,以每“n”分钟实际输出一个序列值。