Apache spark 是否有火花箭流=箭流+;Spark结构化流媒体?

Apache spark 是否有火花箭流=箭流+;Spark结构化流媒体?,apache-spark,spark-structured-streaming,pyarrow,apache-arrow,Apache Spark,Spark Structured Streaming,Pyarrow,Apache Arrow,目前我们有spark结构化流媒体 在arrow doc中,我找到了arrow streaming,在这里我们可以用Python创建流,生成数据,并使用StreamReader使用Java/Scala中的流 我想知道是否有这两者的集成,我们可以在Python中生成箭头流,并使用spark结构化流来获取流(以分布式方式) 想象一个场景,一个人想要构建一个易于使用的pythonapi,但是计算引擎在Java/Scala上,使用Kafka/Redis无法解决跨语言的数据类型。但是使用arrow,目前没

目前我们有spark结构化流媒体

在arrow doc中,我找到了arrow streaming,在这里我们可以用Python创建流,生成数据,并使用
StreamReader
使用Java/Scala中的流

我想知道是否有这两者的集成,我们可以在Python中生成箭头流,并使用spark结构化流来获取流(以分布式方式)



想象一个场景,一个人想要构建一个易于使用的pythonapi,但是计算引擎在Java/Scala上,使用Kafka/Redis无法解决跨语言的数据类型。但是使用arrow,目前没有集群支持来访问数据

我从来没有听说过这样的项目。您所描述的几乎是PySpark结构化流媒体,其中一个运行的python应用程序与JVM上运行的Spark基础设施进行对话。

我从未听说过这样的项目。您所描述的几乎是PySpark结构化流媒体,其中一个运行的python应用程序与JVM上运行的Spark基础设施进行对话。

像这样的项目是有前途的还是可能实现的?基本上,它是关于将跨语言流媒体和可伸缩性集成在一起的?不知道“可能实施”?是的。像这样的项目是有希望的,还是有可能实施?基本上,它是关于将跨语言流媒体和可伸缩性集成在一起的?不知道“可能实施”?对