Fatal编程技术网
  • solr/
  • Solr 这是非侵入性的吗？

Solr 这是非侵入性的吗？

solr apache-flink

Solr 这是非侵入性的吗？,solr,hdfs,apache-flink,Solr,Hdfs,Apache Flink,我想尝试ApacheFlink、hadoop和solr对日志进行非侵入性的摄取，以便对它们进行处理和索引，并对它们进行一些分析和查询。 我正在考虑使用flink对几个应用程序的应用程序日志进行数据处理，然后将它们放在hadoop上，然后使用solr查询它们。 问题是：这真的是非侵入性的吗？Flink的行为类似于flume，因为代理是在我喜欢监视的服务器中安装和配置的？hadoop和solr是索引大量日志然后以sql方式查询日志的好组合吗？它们可以洞察数据并做出一些预测，对创建警报有用吗 谢谢。我

我想尝试ApacheFlink、hadoop和solr对日志进行非侵入性的摄取，以便对它们进行处理和索引，并对它们进行一些分析和查询。 我正在考虑使用flink对几个应用程序的应用程序日志进行数据处理，然后将它们放在hadoop上，然后使用solr查询它们。 问题是：这真的是非侵入性的吗？Flink的行为类似于flume，因为代理是在我喜欢监视的服务器中安装和配置的？hadoop和solr是索引大量日志然后以sql方式查询日志的好组合吗？它们可以洞察数据并做出一些预测，对创建警报有用吗

谢谢。

我建议在这里使用麋鹿堆。麋鹿堆栈是Elasticsearch、Logstash和Kibana

Logstash
：将任何来源的数据摄取到Elasticsearch。源可以是RDBMS、文件、MQ等任何东西。 在logstach中，您可以通过在conf文件中提及输入和输出来配置相同的配置。您可以过滤logstash conf文件中的数据

Elasticsearch
：Elasticsearch是一个基于Lucene库的搜索引擎。它提供了一个分布式、多租户的全文搜索引擎，具有HTTP web界面和无模式的JSON文档。 数据在Elasticsearch上索引后。您可以通过Rest调用获取数据。您可以使用Elasticsearch的watcher功能，在某些特定情况下获取警报/通知

Kibana
：Kibana是一个用于Elasticsearch的开源数据可视化插件。它在Elasticsearch集群上索引的内容之上提供可视化功能。用户可以在大量数据的基础上创建条形图、直线图、散点图或饼图和地图

您可以使用ApacheFlink而不是Logstash来接收数据。 ApacheFlink可以将数据摄取到Elasticsearch。 下面是一个例子

我建议在这里使用麋鹿堆。麋鹿堆栈是Elasticsearch、Logstash和Kibana

Logstash
：将任何来源的数据摄取到Elasticsearch。源可以是RDBMS、文件、MQ等任何东西。 在logstach中，您可以通过在conf文件中提及输入和输出来配置相同的配置。您可以过滤logstash conf文件中的数据

Elasticsearch
：Elasticsearch是一个基于Lucene库的搜索引擎。它提供了一个分布式、多租户的全文搜索引擎，具有HTTP web界面和无模式的JSON文档。 数据在Elasticsearch上索引后。您可以通过Rest调用获取数据。您可以使用Elasticsearch的watcher功能，在某些特定情况下获取警报/通知

Kibana
：Kibana是一个用于Elasticsearch的开源数据可视化插件。它在Elasticsearch集群上索引的内容之上提供可视化功能。用户可以在大量数据的基础上创建条形图、直线图、散点图或饼图和地图

您可以使用ApacheFlink而不是Logstash来接收数据。 ApacheFlink可以将数据摄取到Elasticsearch。 下面是一个例子

我建议您看看Flink的SQL支持。一些公司正在使用它进行警报和预测。这将大大简化堆栈，因为您不需要hadoop或solr（或ELK堆栈）

我建议您看看Flink的SQL支持。一些公司正在使用它进行警报和预测。这将大大简化堆栈，因为您不需要hadoop或solr（或ELK堆栈）

您当前的设置看起来如何？你已经有hadoop和solr集群在运行了吗？你能澄清一下在这种情况下你所说的“入侵”是什么意思吗？@DavidAnderson这是一种传统的表达，但它意味着日志分析实用程序不会与实际编写日志的过程相同，也不会锁定资源，但这是给定的，因为它只是在读取文件。@TobiSH不，我实际上是在高空浏览选项。@Camilo在这种情况下，我会仔细查看Abhijit Bashetthih的答案中建议的麋鹿群。您当前的设置是什么样的？你已经有hadoop和solr集群在运行了吗？你能澄清一下在这种情况下你所说的“入侵”是什么意思吗？@DavidAnderson这是一种传统的表达，但它意味着日志分析实用程序不会与实际编写日志的过程相同，也不会锁定资源，但这有点像是给定的，因为它只是在读取文件。@TobiSH不，我实际上是在高空浏览选项。@Camilo在这种情况下，我会按照Abhijit BashettiThanks的回答中的建议仔细查看麋鹿群！我一定会调查的。你可以用ApacheFlink代替logstash将数据摄取到elasticsearch中。谢谢！我一定会调查的。你可以使用ApacheFlink而不是logstash将数据摄取到elasticsearch中。。