elasticsearch 与Logstash-ELK的不一致流行为,elasticsearch,logstash,elastic-stack,elk,elasticsearch,Logstash,Elastic Stack,Elk" /> elasticsearch 与Logstash-ELK的不一致流行为,elasticsearch,logstash,elastic-stack,elk,elasticsearch,Logstash,Elastic Stack,Elk" />

elasticsearch 与Logstash-ELK的不一致流行为

elasticsearch 与Logstash-ELK的不一致流行为,elasticsearch,logstash,elastic-stack,elk,elasticsearch,Logstash,Elastic Stack,Elk,我有一个包含几个平面字段和几个嵌套字段的索引。我正试图通过特定Id将信息从SQL Server通过日志存储流式传输到嵌套字段中。 当我只为一个Id流式传输数据时,它将完全成功地通过,没有任何问题。另一方面,当我尝试流式传输多个id的数据时,由于某些原因,插入到索引中的信息是部分的。 注意:查询是按id排序的。 此外,在不同的数据流传输尝试中,获得了不同数量的信息。 例如,假设完整信息包含15行。在一次尝试中-仅获得2行,但在另一次尝试中-获得14行,似乎是完全任意的。 有人知道是什么导致了这种奇

我有一个包含几个平面字段和几个嵌套字段的索引。我正试图通过特定Id将信息从SQL Server通过日志存储流式传输到嵌套字段中。 当我只为一个Id流式传输数据时,它将完全成功地通过,没有任何问题。另一方面,当我尝试流式传输多个id的数据时,由于某些原因,插入到索引中的信息是部分的。 注意:查询是按id排序的。 此外,在不同的数据流传输尝试中,获得了不同数量的信息。 例如,假设完整信息包含15行。在一次尝试中-仅获得2行,但在另一次尝试中-获得14行,似乎是完全任意的。 有人知道是什么导致了这种奇怪的行为吗?我很乐意得到任何帮助。 谢谢

这是因为多个工作线程可以并行工作,而您的事件可能由不同的工作线程处理

如果希望具有一致的加载行为,则需要使用单个辅助线程(命令行上的
-w 1
)执行管道这是因为多个辅助线程可以并行工作,并且您的事件可能由不同的辅助线程处理


如果你想有一个一致的加载行为,你需要用一个工人来执行你的管道(
-w1
在命令行上)

太棒了,很高兴它成功了!太棒了,很高兴它成功了!