elasticsearch,Hadoop,elasticsearch" /> elasticsearch,Hadoop,elasticsearch" />

Hadoop上的Elasticsearch-ES节点是否应与Hadoop DataNodes共用?

Hadoop上的Elasticsearch-ES节点是否应与Hadoop DataNodes共用?,hadoop,elasticsearch,Hadoop,elasticsearch,从Hadoop的Elasticsearch中: 只要有可能,elasticsearch hadoop将共享elasticsearch 使用Hadoop对信息进行集群,以方便数据共享。在里面 实际上,这意味着每当从Elasticsearch读取数据时 源节点IP被传递给Hadoop以优化任务执行。 如果需要/可能共址,则托管Elasticsearch和 同一机架内的Hadoop集群将提供重要的网络连接 储蓄 这是否意味着理想情况下,Elasticsearch节点应该与Hadoop集群上的每个Dat

从Hadoop的Elasticsearch中:

只要有可能,elasticsearch hadoop将共享elasticsearch 使用Hadoop对信息进行集群,以方便数据共享。在里面 实际上,这意味着每当从Elasticsearch读取数据时 源节点IP被传递给Hadoop以优化任务执行。 如果需要/可能共址,则托管Elasticsearch和 同一机架内的Hadoop集群将提供重要的网络连接 储蓄


这是否意味着理想情况下,Elasticsearch节点应该与Hadoop集群上的每个DataNode共用一个位置,或者我误解了这一点?

您可能会发现Elasticsearch和Hortonworks的联合演示在回答这个问题时很有用:

您将注意到,在幻灯片33和34中,它们展示了多种体系结构——一种是ES节点位于Hadoop节点上,另一种是具有独立集群的体系结构。第一个选项显然为您提供了最佳的数据共定位,这对于管理Hadoop性能非常重要。第二种方法允许您单独调整每种方法,并单独缩放它们

我不知道你能说一种方法比另一种好,因为有明显的权衡。在同一个节点上运行显然可以最大限度地减少数据访问延迟,但代价是失去隔离和单独调优每个集群的能力