Amazon s3 使用Splunk监视Amazon S3日志？

我们有一个庞大的扩展用户网络，我们使用徽章跟踪。总流量约为每月6000万次。我们目前正在考虑从一个相当缓慢的、基于数据库的日志记录解决方案（基于PHP messy…）切换到一个简单的基于日志的替代方案，该方案依赖于Amazon S3日志和Splunk

在将Splunk用于其他一些分析任务之后，我非常喜欢它。但不清楚如何在系统中设置像S3这样的源代码。似乎远程源需要安装Universal Forwarder，这不是一个选项

---

对此有什么想法吗？

很晚才回答，但我也在寻找同样的东西，发现了一个Splunk应用程序，它可以满足您的需求。不过我还没有尝试过。

我建议将j-son预处理的数据记录到documentdb数据库中。例如，将适合您的场景的azure队列或simmilar服务总线消息传递技术与azure documentdb结合使用。 因此，我将保留您基于数据库的方法，并将其修改为无模式、易于扩展的基于文档的数据库。

我使用AWS Marketplace随时间推移按前缀、存储桶或存储类跟踪AWS S3存储使用总量；此外，它还按前缀和每个存储桶向我显示了以前版本的存储。它有一个将S3数据保存为splunk格式日志的设置，除了它的UI和webservice API之外，它还可以为您的用例工作

这就是我的理解

创建一个Splunk实例。使用网站版本或内部部署 splunk的AMI创建一个运行splunk的EC2

在EC2上安装AWS应用程序的Splunk附加组件

根据输入日志类型（例如Cloudtrail日志、配置日志、通用日志等）配置加载项并提供AWS帐户id或IAM角色等参数

加载项将在指定的时间（默认为30秒）后自动ping AWS S3源并获取最新日志

---

对于通用用例（如我们的），您可以尝试配置

我唯一的问题是，您的日志如何到达S3？您是否在X分钟/小时后将其滚动到那里。如果是这样，您将仅限于历史非实时视图。不管我们能不能，你有兴趣测试一下吗？如果是这样，请ping我。同样晚的补充：该应用程序不能很好地扩展。它有一个bug，阻止它读取超过1000个对象（它根本没有代码来处理被截断的列表）。它还有一些其他缺陷，似乎没有一个合适的方式在索引器之间分散负载。