通过RESTAPI公开spark流结果

通过RESTAPI公开spark流结果,rest,hadoop,apache-spark,spark-streaming,Rest,Hadoop,Apache Spark,Spark Streaming,我是Spark的新手,我构建了一个Spark流媒体应用程序,它使用flume事件并对其进行一些统计分析,然后将结果输出到控制台,我只是想知道是否有任何方法可以像REST服务一样公开我的结果,这样我就可以编写一个web应用程序,从spark所做的分析中提取结果并创建可视化。欢迎任何建议。谢谢您可以将处理结果发送到HDFS/Kafka/任何其他持久存储,并创建一个按需拉动的RESTAPI。Spark不适合用作REST端点。@YuvalItzchakov我考虑过这样做,我很好奇是否有办法避免持久化数据

我是Spark的新手,我构建了一个Spark流媒体应用程序,它使用flume事件并对其进行一些统计分析,然后将结果输出到控制台,我只是想知道是否有任何方法可以像REST服务一样公开我的结果,这样我就可以编写一个web应用程序,从spark所做的分析中提取结果并创建可视化。欢迎任何建议。谢谢

您可以将处理结果发送到HDFS/Kafka/任何其他持久存储,并创建一个按需拉动的RESTAPI。Spark不适合用作REST端点。@YuvalItzchakov我考虑过这样做,我很好奇是否有办法避免持久化数据。谢谢你的帮助help@YuvalItzchakov我在进行调查时发现,它似乎可以解决问题,它允许通过REST提交作业并获得可视化结果。您可以使用Apache Zeppelin,它为Spark提供集成(请参考Twitter的示例推文流)@Bhavesh我有一个仪表板,它已经在监控其他服务。我需要一个Spark rest端点,我可以调用它并更新我的仪表板。到目前为止,齐柏林飞艇不是一个理想的解决方案。我认为持久化数据,然后根据需要以RESTful方式从存储中提取数据是最好的解决方案。谢谢你的意见