Google app engine 如何通过运行googlecomputeengine cron作业来调度数据流作业

Google app engine 如何通过运行googlecomputeengine cron作业来调度数据流作业,google-app-engine,cron,google-compute-engine,apache-beam,dataflow,Google App Engine,Cron,Google Compute Engine,Apache Beam,Dataflow,在中,列出了在计算引擎上运行自定义(cron)作业进程是调度数据流管道的一种方法。我对应该如何做感到困惑:如何在计算引擎上启动数据流作业并启动cron作业 谢谢大家! 我在appengine上有这个功能,但我想这与computeengine类似 Cron将以您指定的频率命中服务上的端点。因此,您需要为该端点设置一个请求处理程序,该端点将在命中时启动数据流作业(基本上是在您的请求处理程序中,您需要定义管道,然后对其调用“run”) 这应该是它的基础。我要做的另一个步骤是让cron作业的请求处理程序

在中,列出了在计算引擎上运行自定义(cron)作业进程是调度数据流管道的一种方法。我对应该如何做感到困惑:如何在计算引擎上启动数据流作业并启动cron作业


谢谢大家!

我在appengine上有这个功能,但我想这与computeengine类似

Cron将以您指定的频率命中服务上的端点。因此,您需要为该端点设置一个请求处理程序,该端点将在命中时启动数据流作业(基本上是在您的请求处理程序中,您需要定义管道,然后对其调用“run”)


这应该是它的基础。我要做的另一个步骤是让cron作业的请求处理程序启动一个云任务,然后让云任务的请求处理程序启动数据流作业。我这样做是因为我注意到管道的“run”命令有时需要一段时间,云任务有10分钟的超时时间,而cron作业的超时时间是30秒(或者是60秒)。

您可以使用谷歌来执行数据流作业。在云调度器上,您有目标,这些可能是HTTP/S端点、发布/订阅主题、应用程序引擎应用程序,您可以使用数据流模板作为目标。查看这篇外部文章以查看示例:或者如果您想向interacion添加更多服务:。

您好,谢谢您的回答。但是,尽管有服务帐户,调度程序作业始终无法对HTTP模板端点进行身份验证(权限被拒绝)。你对此有什么想法吗?如果没有更多信息,很难说出原因,请尝试搜索日志或对数据流管道的API调用。