elasticsearch 从Redis读取的许多Logstash实例

我有一个Logstash进程在一个节点内运行，消耗Redis列表中的数据，但我担心只有一个进程无法处理数据吞吐量而不会造成很大的延迟

我想知道，如果我在同一台机器中运行一个Logstash进程，它的性能会更好一些，但我不确定这一点。我知道我的ES索引不是瓶颈

如果我使用相同的列表，Logstash会复制我的数据吗？这种方法似乎是正确的吗

谢谢

这里是我的输入配置：

input {
    redis {
        data_type => "list"
        batch_count => 300
        key => "flight_pricing_stats"
        host => "my-redis-host"
    }
}

---

如果要在同一台机器上运行另一个日志存储进程，可以尝试调整日志存储输入线程。默认值为1

input {
    redis {
        data_type => "list"
        batch_count => 300
        key => "flight_pricing_stats"
        host => "my-redis-host"
        threads => 2
    }
}

您可以对同一个redis运行多个logstash，事件不应重复。但我不确定这是否有帮助

如果你不确定发生了什么，我建议你。它可以帮助你缩小你真正的瓶颈

---

还有一篇来自elastic关于这个主题的有趣文章：

如果要在同一台机器上运行另一个logstash进程，您可以尝试调整logstash输入线程。默认值为1

input {
    redis {
        data_type => "list"
        batch_count => 300
        key => "flight_pricing_stats"
        host => "my-redis-host"
        threads => 2
    }
}

您可以对同一个redis运行多个logstash，事件不应重复。但我不确定这是否有帮助

如果你不确定发生了什么，我建议你。它可以帮助你缩小你真正的瓶颈

---

还有一篇来自elastic的关于这个主题的有趣帖子：

如果我使用相同的列表，日志会重复我的数据吗？

不会。当logstash从redis列表中提取消息时，该消息将从redis中删除。（我们在生产中使用了多个logstash从一个redis提取消息）。

如果我使用相同的列表，logstash会复制我的数据吗？

不会。当logstash从redis列表中提取消息时，该消息将从redis中删除。（我们在从一个redis提取消息的生产过程中使用了多个日志存储）。