Google cloud dataflow 如何通过gcloudapi排出数据流作业?

Google cloud dataflow 如何通过gcloudapi排出数据流作业?,google-cloud-dataflow,Google Cloud Dataflow,是否可以通过gcloud api排出正在运行的数据流作业?具体来说,是否有一个python实现,或者请求结构的文档,以便可以实现它?如果能够在不使用cli的情况下自动排空和重新配置数据流作业,那就太好了。多亏了cli,我才能够排空正在运行的数据流 更新后请求的正文: { “requestedState”:“作业状态” } 嗨,蒂埃里·法尔沃。我想在Dataflow中运行批处理作业,以处理将来可能变得巨大的小数据集。在批处理模式下,数据流需要在运行作业之前启动VM,这对于小型数据集处理来说是非常不

是否可以通过gcloud api排出正在运行的数据流作业?具体来说,是否有一个python实现,或者请求结构的文档,以便可以实现它?如果能够在不使用cli的情况下自动排空和重新配置数据流作业,那就太好了。

多亏了cli,我才能够排空正在运行的数据流

更新后请求的正文:

{ “requestedState”:“作业状态” }


嗨,蒂埃里·法尔沃。我想在Dataflow中运行批处理作业,以处理将来可能变得巨大的小数据集。在批处理模式下,数据流需要在运行作业之前启动VM,这对于小型数据集处理来说是非常不幸的。但是,将这种可能性视为运行流式作业,然后在以后将作业耗尽可能是一件好事。你认为这会有帮助吗?嗨@d4nielfr4nco,我真的不确定。流模式或批处理模式下的数据流将消耗幕后的虚拟机,您将按vCPU/小时计费。通常情况下,您不应该关心VM的启动,但最终成本是最重要的。对于Apache Beam v2,发布/订阅管道仅在流模式下可用。所以我关心的是如何优化流模式的成本,因为它不会扩展到0。(即使没有关于主题的消息,您也会收到账单)。所以,这就是为什么我一直在寻找一种方法,开始和排水,每天几次,例如。。。希望我的评论是明确和相关的;-)另请参阅我的问题“云数据流作业是否可以扩展到零?”:“是的,我认为成本对于我的特定用例来说更为重要,所以批处理是一种方式。非常感谢。