elasticsearch 负载平衡日志通过logstash传输更多的服务,elasticsearch,logstash,apache-kafka,logstash-forwarder,elasticsearch,Logstash,Apache Kafka,Logstash Forwarder" /> elasticsearch 负载平衡日志通过logstash传输更多的服务,elasticsearch,logstash,apache-kafka,logstash-forwarder,elasticsearch,Logstash,Apache Kafka,Logstash Forwarder" />

elasticsearch 负载平衡日志通过logstash传输更多的服务

elasticsearch 负载平衡日志通过logstash传输更多的服务,elasticsearch,logstash,apache-kafka,logstash-forwarder,elasticsearch,Logstash,Apache Kafka,Logstash Forwarder,我们有一个ElasticSearch Logstash Kibana部署,其中多个Logstash转发器(来自多个服务日志)将日志推送到Logstash,Logstash然后将其发送到Kafka,然后另一个Logstash从Kafka中提取这些日志,并在ElasticSearch集群中为它们编制索引 谁能告诉我:- 在这种部署中,处理流量峰值的最佳方法是什么 我们是否可以将卡夫卡配置为单个 logstash转运商(单一服务的)不负责整个运输 组织我们希望确保所有服务都可以使用该设置 公平地 如何

我们有一个ElasticSearch Logstash Kibana部署,其中多个Logstash转发器(来自多个服务日志)将日志推送到Logstash,Logstash然后将其发送到Kafka,然后另一个Logstash从Kafka中提取这些日志,并在ElasticSearch集群中为它们编制索引

谁能告诉我:-

  • 在这种部署中,处理流量峰值的最佳方法是什么
  • 我们是否可以将卡夫卡配置为单个 logstash转运商(单一服务的)不负责整个运输 组织我们希望确保所有服务都可以使用该设置 公平地
  • 如何确保一个索引与其他索引相比不会增长过大 其他人?我们有多个服务日志的每日索引,我们 希望确保在峰值期间,如果一个服务索引(或碎片) 变得太大,我们想阻止该服务日志。以致 集群性能没有受到影响