Apache spark 我可以在单个apache beam代码中使用多个运行程序吗?

Apache spark 我可以在单个apache beam代码中使用多个运行程序吗?,apache-spark,etl,google-cloud-dataflow,apache-beam,Apache Spark,Etl,Google Cloud Dataflow,Apache Beam,我对Apache beam是新手。到目前为止,我的理解是,ApacheBeam只不过是ETL处理的工具。运行程序可以称为CPU、内存和存储的集合 我的问题是,我可以在单梁python代码中使用两种或更多类型的运行程序吗 例如,一个用于dataflow,另一个用于spark,第三个用于directrunner,如下图所示?您可以使用您的Beam管道,并将其提交到不同的运行程序上运行 您不能让不同的运行程序一起工作(例如,部分在数据流上运行,部分在Spark上运行的管道) 相反,您可以编写一个管道,

我对Apache beam是新手。到目前为止,我的理解是,ApacheBeam只不过是ETL处理的工具。运行程序可以称为CPU、内存和存储的集合

我的问题是,我可以在单梁python代码中使用两种或更多类型的运行程序吗


例如,一个用于dataflow,另一个用于spark,第三个用于directrunner,如下图所示?

您可以使用您的Beam管道,并将其提交到不同的运行程序上运行

您不能让不同的运行程序一起工作(例如,部分在数据流上运行,部分在Spark上运行的管道)

相反,您可以编写一个管道,它有时完全在数据流上运行,有时完全在Spark上运行


请允许我进一步澄清。

感谢Pablo,为了实验,我使用python创建了一个apache beam程序。我创建了“beam.Pipeline”类的两个对象。我在DirectRunner上运行一个管道,在Dataflow runner上运行第二个管道。两个都工作正常。所以我认为,是的,它支持同一个beam代码中的多个运行程序,并且两个管道完全独立运行。