Google cloud dataflow 如何计划gcloud dataflowsql命令

Google cloud dataflow 如何计划gcloud dataflowsql命令,google-cloud-dataflow,gcloud,schedule,dataflow,google-cloud-scheduler,Google Cloud Dataflow,Gcloud,Schedule,Dataflow,Google Cloud Scheduler,我想安排数据流sql作业。这是我的gcloud命令 gcloud数据流sql查询“我的选择查询”--作业名称dfsql-2d7a0189-177fc4f9444--区域us-east4--bigquery写入处理写入截断--bigquery项目开发dp myproject--bigquery数据集mydataset--bigquery表mytable--服务帐户电子邮件数据流运行 @myserviceaccount.iam.gserviceaccount.com--子网 如何安排此gcloud命

我想安排数据流sql作业。这是我的gcloud命令

gcloud数据流sql查询“我的选择查询”--作业名称dfsql-2d7a0189-177fc4f9444--区域us-east4--bigquery写入处理写入截断--bigquery项目开发dp myproject--bigquery数据集mydataset--bigquery表mytable--服务帐户电子邮件数据流运行 @myserviceaccount.iam.gserviceaccount.com--子网


如何安排此gcloud命令每15分钟运行一次。

Cloud Shell不是用于生产环境的工具,在这种情况下,建议您使用GCP产品本身提供的工具,而不是运行gcloud命令


您可以在一个示例中找到如何使用Cloud Scheduler调度数据流作业,我相信这是您正在寻找的。

另一个解决方案是,您可以通过Apache beam Dataflow runner运行查询。由于数据流作业可以根据您的要求通过Cron/googlescheduler/googlecomposer轻松调度。代码,您可以参考它并相应地进行自定义。

感谢您的回复。您共享的链接对于使用JavaSDK编写的数据流作业非常有用。我正在使用DATAFLOW SQL创建作业,但不确定如何为此作业创建模板,我认为Vibhor提出的解决方案在这种情况下是一个不错的选择。