Apache spark 可以在Spark流数据上运行Shark查询吗?

Apache spark 可以在Spark流数据上运行Shark查询吗?,apache-spark,shark-sql,Apache Spark,Shark Sql,是否可以对Spark流应用程序的数据流中包含的数据运行Shark查询?(用于foreachRDD调用中的距离) 有没有什么特定的API可以做到这一点 谢谢。如果有人担心同样的问题,请回答我的问题: 我的问题的直接答案是否定的,您不能直接在Spark流数据上运行Shark Spark SQL目前是一个有效的替代方案,至少是为了满足我的需要。 它包含在Spark中,不需要更多配置,您可以在此处查看:我也在寻找是否可能实现此功能。根据网站上的文档,这看起来是不可能的。如果你发现了什么,请告诉我。我们可

是否可以对Spark流应用程序的数据流中包含的数据运行Shark查询?(用于foreachRDD调用中的距离)

有没有什么特定的API可以做到这一点


谢谢。

如果有人担心同样的问题,请回答我的问题: 我的问题的直接答案是否定的,您不能直接在Spark流数据上运行Shark

Spark SQL目前是一个有效的替代方案,至少是为了满足我的需要。
它包含在Spark中,不需要更多配置,您可以在此处查看:

我也在寻找是否可能实现此功能。根据网站上的文档,这看起来是不可能的。如果你发现了什么,请告诉我。我们可以使用的最相似的东西是Spark SQL。我认为他们正在用它改写Shark,所以基本上是一样的。但是Spark SQL可以处理批处理数据。可能他们很快会通过流式数据发布它?我还没有尝试过,但我认为(从文档中可以看出),通过Spark SQL,您可以从现有RDD创建SchemardS(由于foreachRDD()函数,也可以从数据流中创建SchemardS),并对其运行类似SQL的查询。Ok。谢谢你提供的信息。我已经试过多次了,但都失败了。我想不出怎么做。有什么建议吗?