Amazon web services Amazon Web Services-S3-Logstash或Lambda将数据导入Elasticsearch？

我的问题是赞成/反对的。我想将数据从AmazonS3传输到Elasticsearch，我正在考虑两种选择：通过Logstash或Lambda传输。哪一个是更快/更容易/更具弹性的解决方案？为什么？有人有经验吗

---

谢谢大家!

免责声明：我的经验仅限于Logstash

使用logstash，您必须处理服务器、logstash安装和配置。但是您不必编写任何代码，而且您已经准备好了插件来处理连接。
如果您不需要修改数据，那么配置非常简单。如果您有修改，Logstash有一个不同的插件来执行不同的操作。

---

从我读到的有关aws Lambda的内容来看，您不必管理服务器和应用程序，但您必须编写所有代码，包括与S3和Elasticsearch的连接。

到目前为止，aws不支持自定义日志存储服务模块。正如你所说，我们有两种方法：

• 伐木场 赞成的意见： 您可以使用所有日志存储功能和过滤器 用于原木运输的流行标准工具 欺骗： 您需要安装和安装运行logstash代理的EC2计算机

• Lambda函数 赞成的意见： 不需要安装服务器，我也相信没有额外的成本。 欺骗： 您需要编写从S3读取和写入ElasticSearch的代码

我还遇到了这个lambda函数，它完成了这个标准的运送。

---

看起来很有希望，但似乎不支持logstash过滤器

您确定lambda标记吗？它更多地是关于编程语言中的lambda，而不是lambda亚马逊服务。虽然我理解这种混淆，但它被称为lambda。lambda标记明确地是关于编程语言中的lambda。所以你问题中的lambda标签是误导性的。还有一个标签谢谢，会相应更新的。你有没有可能就这个问题本身添加一些有价值的东西？我正在写一个答案，主要是关于Logstash的，看看lambda stash。虽然用意很好，但在将第一个文档发送到ES之前，它会将输入文件完全存储在内存中。此外，处理程序在其包装的节点模块上几乎没有增加任何价值。也就是说，gunzip压缩流只需要1个pipe（）调用。CSV解析输入也是如此。等等如果出于某种原因，logstash不能满足您需要的OOTB，我建议您直接使用节点模块来运行自己的Lambda。代码更少，更易于阅读和故障排除，最重要的是，正确的流处理。