elasticsearch 建筑弹性搜索(建议),elasticsearch,architecture,logstash,elasticsearch,Architecture,Logstash" /> elasticsearch 建筑弹性搜索(建议),elasticsearch,architecture,logstash,elasticsearch,Architecture,Logstash" />

elasticsearch 建筑弹性搜索(建议)

elasticsearch 建筑弹性搜索(建议),elasticsearch,architecture,logstash,elasticsearch,Architecture,Logstash,我是一名学生,我必须建立一个麋鹿体系结构来实时处理每天千兆的日志。 为此,我在一个地理站点上有2台服务器,在另一个地理站点上有2台其他服务器 目前,我选择了以下体系结构: 第一个地点: VM1:主节点1/无数据+日志存储主节点 VM2:主节点2/数据+Kibana 第二个地点: VM3:日志存储辅助(如果主设备发生故障) VM4:主节点3/数据+Kibana 我需要你的建议,如果它是一个好的架构或不是!多谢各位 Elasticsearch不支持跨多个区域的群集。这与区域间网络连接的延迟、可靠性和

我是一名学生,我必须建立一个麋鹿体系结构来实时处理每天千兆的日志。 为此,我在一个地理站点上有2台服务器,在另一个地理站点上有2台其他服务器

目前,我选择了以下体系结构:

第一个地点: VM1:主节点1/无数据+日志存储主节点 VM2:主节点2/数据+Kibana

第二个地点: VM3:日志存储辅助(如果主设备发生故障) VM4:主节点3/数据+Kibana

我需要你的建议,如果它是一个好的架构或不是!多谢各位

  • Elasticsearch不支持跨多个区域的群集。这与区域间网络连接的延迟、可靠性和吞吐量有关。这是集群出现问题的常见原因

  • 有3个主可交付节点是好的

  • 拥有多个Logstash实例是很好的。虽然您可以在发送方端配置这两个组件,但它们将在它们之间进行循环。不需要一个主设备和一个辅助设备


  • “过程”是什么意思?你打算怎么处理那些日志?搜索?典型的搜索查询、用例等是什么?为什么选择在第一个站点中有两个主节点?Vladislav,日志将传输到logstash以提取重要信息(几个grok过滤器)。这些是呼叫中心的日志,所以我想主要统计kibana(已传输的呼叫,未传输的呼叫…),并提供特定呼叫(呼叫流)的详细信息。首先,我只有两个节点。但我在第一个站点上添加了一个节点,只是为了避免大脑分裂。我把这三个都放在master中,这样在一节或两节发生故障时,它就可以独立运行了。我们的目标是elasticsearch始终保持功能性。感谢您的建议!有一个小问题:如果我在每个区域创建两个集群,并使用部落节点将它们连接起来,最好是将所有节点都创建在一个站点中?您需要3个主可替换节点才能高度可用,并避免出现大脑分裂的情况。因此,如果您只想使用最多4台服务器,那么一个地区可能会更好。部落节点将起作用,但将来将被跨集群搜索取代。请注意,目前只有部落支持Kibana-将很快添加到跨集群搜索(ish)。非常感谢Xeraa提供的建议!我将在一个站点中对不同的数据节点进行分组。那么,如果我从这个开始,它似乎更好?第一个站点:VM1:Master Node 1/None Data+Logstash 1 VM2:Logstash 2(与Logstash 1同时工作)第二个站点:VM3:Master Node 2/Data+Kibana VM4:Master Node 3/Data+Kibana一个集群的所有节点都应位于一个区域(单个集群不应跨越多个区域),其中包括主节点。此外,您也不会从该设置中获得任何弹性;如果第二个站点关闭,您的集群将关闭。好的!我的目标是elasticsearch始终起作用。因此,如果我在第一个站点中有3个数据/主节点和一个日志存储,我如何在第一个站点出现故障的情况下复制第二个站点中的数据?