Hadoop Kibana，大数据环境的日志库

我们可以使用

Logstash

和

Kibana

进行大数据分析吗

我将使用Hadoop来存储我的数据。在尝试任何东西之前，我想知道是否有人已经尝试过了。

您的数据有多大

目前，我使用Logstash+ElasticSearch+Kibana分析超过50GB的日志数据

Elasticsearch还与Hadoop集成

---

检查此链接：

我实际上已经使用Hive将HDFS+ElasticSearch+Kibana+Logstash投入工作。它工作得很好。 虽然如果您试图将数据从ElasticSearch加载到配置单元中，但没有正确声明数据类型，您可能会在数据上获得空值

---蜂巢连接--
确保

es-hadoop-hive-2.0.2.jar

和

es-hadoop-2.0.2.jar

文件位于您的配置单元目录中

有关更多详细信息，请参阅ElasticSearch网站上的文档。

125GB（猜测）1k文档在一周内大约为200/秒，这对于任何logstash/ElasticSearch配置索引都没有问题

去找6台机器：

• 三个elasticsearch数据节点，每个节点有64GB的RAM
• 三台运行elasticsearch主节点的机器（RAM要求低得多）。这些节点也可以是客户端节点（用于索引和搜索请求），可以运行logstash和kibana，只要您稍微增强它们

---

大约100-125 GB的数据将在我的服务器上累积一周，我想对其进行分析。我已经通过了你们分享的链接，非常好。我希望从您的设置中获得更多的见解，比如您的设置的系统性能，以及您的系统配置。在Kibana中放置各种过滤器时，您是否遇到任何类型的延迟。