Apache spark 除了google cloud dataflow之外,apache beam python还支持哪些运行程序?

Apache spark 除了google cloud dataflow之外,apache beam python还支持哪些运行程序?,apache-spark,google-cloud-dataflow,apache-beam,hpc,Apache Spark,Google Cloud Dataflow,Apache Beam,Hpc,我已经使用谷歌云数据流和ApacheBeam构建python管道大约一年了。我将离开谷歌云环境,去一个安装了spark的网站。看起来spark runner只适用于java()?对于如何在云数据流之外运行python apache beam管道,有什么建议吗 到目前为止,这还不可能实现,但跨运行程序和语言的可移植性是Beam目前最优先考虑和最活跃的开发领域,我认为portable Flink runner非常接近于能够在Python中运行简单的管道,portable Spark runner的开

我已经使用谷歌云数据流和ApacheBeam构建python管道大约一年了。我将离开谷歌云环境,去一个安装了spark的网站。看起来spark runner只适用于java()?对于如何在云数据流之外运行python apache beam管道,有什么建议吗

到目前为止,这还不可能实现,但跨运行程序和语言的可移植性是Beam目前最优先考虑和最活跃的开发领域,我认为portable Flink runner非常接近于能够在Python中运行简单的管道,portable Spark runner的开发即将开始(并与Flink共享大量代码)。请继续关注dev@邮件列表