elasticsearch Elasticsearch文件节拍到GCP PubSub

我想设置与此类似的环境：
但是使用GCP PubSub而不是卡夫卡。
我知道，Filebeat没有PubSub输出。 最简单的方法是什么？我知道，这个日志可以用来从Filebeat获取数据并将其推送到PubSub。但是，在我要从中收集日志的每台服务器上安装和配置一个Logstash实例似乎有些过分。

---

关于如何实现它有什么想法吗？

既然Filebeat不能将日志发送到Google PubSub，你需要使用Logstash，但你不需要在每台服务器上安装Logstash，你可以使用Logstash管道来监听你的beats并将日志发送到Google PubSub，然后你可以使用多个Logstash管道从Google PubSub进行消费

例如，您将有一个类似以下的管道：

input {
    beats { *your beats configuration* }
}
output {
    google_pubsub { *your gcp pubsub configuration* }
}

然后，您可以从gcp pubsub使用其他管道

input {
    google_pubsub { *your gcp pubsub configuration* }
}
output {
    elasticsearch { *your elasticsearch configuration* }
}

---

您可以使用一个Logstah服务器来处理所有事务，其中一个管道将侦听beats并发送到pubsub，其他管道将从pubsub消费并发送到elasticsearch。

谢谢您的提示。虽然在PubSub之前使用Logstash cluster拒绝了几乎所有的PubSub优点，但它可以作为一个灵活的负载平衡器和日志存储缓冲区。好吧，您将有一个管道将数据放入PubSub，您可以使用完全不同的日志存储，如果支持的话，直接从Filebeat发送数据与此没有多大区别。您还可以尝试使用fluentd将日志直接发送到Google PubSub。