Amazon web services 廉价的AWS日志聚合器

我们的首席信息官看到我们的AWS账单时心脏病发作了

我需要聚合来自多个EC2的Apache和Tomcat日志（在scaling group中）——在不破坏数据库的情况下启动这项工作的最佳方法是什么？日志的目标是按IP地址、帐户名查看事件，并查看事务流（诊断/审核日志——与其说是性能指标，不如说是性能指标）

---

麋鹿是不可能的（政治上的）。Cloudwatch允许+任何其他功能。

取决于卷和访问模式，但将日志推送到S3并使用Athena查询日志是一个不错的选择

它很便宜，因为S3是一个非常便宜的数据存储，而Athena没有服务器，这意味着您只需为运行的查询付费

确保将日志转换为压缩数据格式（如Apace Parquet），以节省更多的dosh

---

我反对S3/Athena的理由是S3可能是最便宜的存储机制，但如何将日志从盒子中取出并放入S3？我不知道有任何AWS代理可以这样做，但可能有一些商业或开源项目可以这样做。此外，还需要一些设置来让雅典娜进行搜索，例如和/或设置以发现数据。您经常会发现，如果日志数据不是JSON格式的，那么Glue Crawler就不能很好地识别日志数据

我极力推荐。AWS已经创建了一个可用于多个OSs的应用程序，它将从EC2实例中提取和转发日志。CloudWatch还有一些免费的搜索工具，现在是一个功能更强大的工具，可以帮助您以类似于其他一流日志聚合器所允许的方式搜索数据

摄取量仅为0.50美元/GB，长期存储量仅为0.02美元/GB（至少在美国东部1区）。而且使用CloudWatch代理是免费的，这是最大的优势，因为你不必发明和测试一种新的方法来从你的箱子中取出原木