Logging 日志存储索引器是否可伸缩？

我正在使用LogstashShipper->redis->LogstashIndexer->elastricsearch->kibana

我知道redis和elastricsearch的设计是为了可扩展。 关于logstash indexer，我只在logstash主站点上看到一个只使用单个logstash indexer的示例

---

这是否足以处理所有日志？您对拥有多个logstash indexer实例有何建议？

如果您的indexer确实是这种设置的瓶颈，您可以轻松地在具有相同配置的第二台计算机上添加第二个logstash indexer，您只需更改redis源主机和elasticsearch目标主机。当他们从同一个redis实例读取时，他们使用阻塞读取来确保一个redis条目恰好由一个索引器读取

与所有组件一样，它们特别擅长水平缩放（更多机器），但索引器也可以缩放到更大的机器上

---

如果单个日志事件的处理时间过长，您可以尝试阻止在索引器上工作。例如，这可以通过在发货方进行一些工作（使用Logstash过滤器）或让应用程序编写JSON日志而不是“普通”日志行来完成。

当部署“更大”的机器时，将工人数量设置为系统中的核心数量。您可以使用命令行标志来设置它

发件人：

-w、 --过滤工人计数 运行计数筛选器工作人员（默认值：1）

---

您还可以做一些测试，看看这是否是您的最佳值，在我的例子中是这样的。一台机器上不需要额外的实例

通常情况下，我们真的需要多个索引器实例吗？您见过我们需要多个索引器实例的案例有多大？如果每秒有数千个日志，为什么不需要多个索引器？你问了这个问题，所以我相应地回答了：-）是的，没错。我刚刚开始使用它，只是好奇索引器的可伸缩性，以及我们需要多个索引器实例的情况。我得到了所有的答案。谢谢：）