<img src="//i.stack.imgur.com/RUiNP.png" height="16" width="18" alt="" class="sponsor tag img">elasticsearch Logstash或Elasticsearch与Apache Spark流媒体的集成_<img Src="//i.stack.imgur.com/RUiNP.png" Height="16" Width="18" Alt="" Class="sponsor Tag Img">elasticsearch_Apache Spark_Logstash_Spark Streaming

elasticsearch Logstash或Elasticsearch与Apache Spark流媒体的集成

apache-spark logstash

elasticsearch Logstash或Elasticsearch与Apache Spark流媒体的集成,elasticsearch,apache-spark,logstash,spark-streaming,elasticsearch,Apache Spark,Logstash,Spark Streaming,是否可以从Logstash或Elasticsearch接收实时输入的日志流到Spark Streaming 我看到有一个内置水槽接收器。但是任何现有的用于Logstash或Elasticsearch的自定义接收器？目前可能最好的解决方案似乎是为kafka使用Logstash输出插件，然后使用spark kafka接收器阅读kafka主题从中，没有可用于spark的输出插件。但是logstash->kafka->spark是可能的。您还可以编写自己的插件。但我很好奇，为什么不使用水槽呢？很简单的

是否可以从Logstash或Elasticsearch接收实时输入的日志流到Spark Streaming

我看到有一个内置水槽接收器。但是任何现有的用于Logstash或Elasticsearch的自定义接收器？

目前可能最好的解决方案似乎是为kafka使用Logstash输出插件，然后使用spark kafka接收器阅读kafka主题

从中，没有可用于spark的输出插件。但是logstash->kafka->spark是可能的。您还可以编写自己的插件。但我很好奇，为什么不使用水槽呢？很简单的原因就是我更喜欢用水槽而不是圆木