Google cloud dataflow 气流可以运行流式GCP数据流作业吗?

Google cloud dataflow 气流可以运行流式GCP数据流作业吗?,google-cloud-dataflow,airflow,Google Cloud Dataflow,Airflow,我正在寻找用于流式GCP数据流作业的编排软件-可以提供警报、状态、作业启动等功能,类似于Kubernetes上的功能。答案是气流,因为他们有一些连接到GCP的钩子-这将是很好的,因为我们有一些其他的基础设施在气流上运行。然而,我不确定这是否能够处理流式作业-我的理解是,气流是为将要完成的任务而设计的,而流式作业则不是这样。气流是否适用于此?或者我应该使用不同的软件吗?可能很晚了,但为将来访问此主题的人解答 是的,您肯定可以从airflow运行数据流作业。使用气流版本1.9或更高版本 链接:

我正在寻找用于流式GCP数据流作业的编排软件-可以提供警报、状态、作业启动等功能,类似于Kubernetes上的功能。答案是气流,因为他们有一些连接到GCP的钩子-这将是很好的,因为我们有一些其他的基础设施在气流上运行。然而,我不确定这是否能够处理流式作业-我的理解是,气流是为将要完成的任务而设计的,而流式作业则不是这样。气流是否适用于此?或者我应该使用不同的软件吗?

可能很晚了,但为将来访问此主题的人解答

是的,您肯定可以从airflow运行数据流作业。使用气流版本1.9或更高版本

链接:

您不需要为运行streamin作业付出额外的努力。上述数据流操作员同时运行批处理和流处理作业。一旦数据流作业开始运行(即作业处于运行状态),它将标记气流任务成功