elasticsearch Logstash-可以拉吗？

我们正在尝试建立一个ElasticSearch数据采集器。ElasticSearch集群应接收来自不同服务器的数据。这些服务器位于ElasticSearch集群以外的其他位置（和网络）。客户端通过单向VPN连接连接到ElasticCluster

---

作为第一次尝试，我们在每个客户机服务器上安装了logstash，以收集数据、过滤数据并将其发送到ElasticCluster。到目前为止，在测试环境中没有问题。现在的问题是，来自客户端的日志存储试图建立到ElasticSearch的连接。但是，此尝试被防火墙阻止。但是，可以打开从ElasticCluster端到每个客户端的连接并接收数据。我们需要的是一种从LogStash获取数据的方法，这样我们就可以打开一个连接并从LogStash中提取数据（pull）。有没有一种方法可以在不改变VPN配置的情况下运行？

LogStas-Press事件，如果您的LogSTASH实例不能启动与弹性搜索节点的连接，那么您将需要中间的一些东西或者允许防火墙/ VPN上的流量。

例如，您可以进行弹性搜索，在那里，LogSTASH服务器可以推送数据，然后在主集群环境中的另一个LogSTASH，在那里您将有一个管道，其中输入将是中间的弹性搜索，这样，数据将从弹性搜索中拉出来。 编辑：

正如我在评论中所说，你需要像这样的图片

在这里，您的服务器将数据发送到一个logstash实例，这个logstash有一个到elasticsearch实例的输出，因此它启动推送数据的连接

在你的主集群上，你有你的elasticsearch集群和一个只能启动连接的单向VPN，你将有另一个日志存储，这个日志存储将有一个输入，将查询外部elasticsearch节点，拉取数据

在日志存储管道中，您可以有一个

elasticsearch

输入，它查询elasticsearch节点，然后将接收到的数据发送到过滤器和输出

input {
    elasticsearch { the elasticsearch in the middle }
}
filter { 
    your filters 
}
output { 
    elasticsearch { your cluster nodes }
}

---

现在清楚了吗？

不是对你问题的直接回答（我还没有听说过实现你想要的东西的方法）。由于连接有限，我们曾经遇到过类似的情况，因此我们使用了一个专用的logstash服务器（内部）和rsync来定期同步我们感兴趣的数据。不过，你不会以这种方式获得实时结果（你可能总是落后几分钟）。我在DevOps上发布了一个类似的问题：谢谢你的快速回复。只是为了正确理解你的答案。我们在客户端服务器上安装LogStash，使用不同的输入和Lumberjack作为输出。在主集群环境中，我们还安装了带有beats输入和elasticsearch输出的logstash。在这种情况下，客户端的LogStash不建立连接吗？或者，您的意思是我们应该在本地填充logstash的每个客户机上安装一个缓冲区数据库，然后在主集群上使用logstash实例从那里获取数据？让我试着更好地解释一下。您将从客户端向Logstash实例发送数据，此Logstash将此数据推送到可以接收推送的elasticsearch实例，因为它不会启动连接，连接将由Logstash初始化，它将在其输出中。然后，在主集群的同一网络上需要另一个Logstash，它将从第一个elasticsearch中提取数据，它将有一个查询此elasticsearch的输入。我对答案进行了编辑，使其更清晰。这与我的第二个描述大致相同。Logstash->Buffer当仅使用FileBeat，也通过单向VPN（或单向防火墙…）时，是否有“更简单”的选项？