Amazon web services 在AWS中跟踪应用程序日志记录的最佳方法?

Amazon web services 在AWS中跟踪应用程序日志记录的最佳方法?,amazon-web-services,telemetry,Amazon Web Services,Telemetry,我有一个由api、db和web应用程序组成的应用程序。它们都使用RDS、EB、S3等在AWS上运行。 我使用Serilog在api级别记录重要事件,并将它们发送到我的postgresql rds。 我还没有在api中公开日志记录,但我可以这样做,并让web应用程序生成日志。 我的问题是,什么是跟踪遥测将产生的大量数据的最佳方法?我知道我想跟踪登录、失败登录、大多数api调用等。 我可以使用Serilogs将这些数据作为结构化数据发送到我的postgres Logs表中,但之后我该怎么做?我在想,

我有一个由api、db和web应用程序组成的应用程序。它们都使用RDS、EB、S3等在AWS上运行。 我使用Serilog在api级别记录重要事件,并将它们发送到我的postgresql rds。 我还没有在api中公开日志记录,但我可以这样做,并让web应用程序生成日志。 我的问题是,什么是跟踪遥测将产生的大量数据的最佳方法?我知道我想跟踪登录、失败登录、大多数api调用等。 我可以使用Serilogs将这些数据作为结构化数据发送到我的postgres Logs表中,但之后我该怎么做?我在想,我会每天晚上用一个lambda来运行,并将遥测数据汇总成一份报告,这样我就可以杀死一些日志,而不是让它们一个接一个地建造。我想我可以使用AWSAPI网关,让他们也为我生成这些统计数据


我想我只是在寻找关于其他人对这类问题做了什么的指导和链接,因为我甚至不确定从哪里开始。有什么建议吗?

使用CloudWatch定制日志组/流?您的问题是应该记录什么,还是应该如何记录?我对CloudWatch的经验是,它无法管理。日志过得很快,而且被随机分解,无法搜索。我看到cloudwatch的第三方消费者/编目商有一个巨大的市场。几乎就像aws不想实现“最后一英里”的日志记录一样。我想我的问题是这两件事。我建议使用麋鹿堆。您可以搜索日志,然后每隔一段时间将它们轮换到S3。