Amazon web services 动情消防水带数据传输延迟

Amazon web services 动情消防水带数据传输延迟,amazon-web-services,amazon-s3,amazon-kinesis-firehose,Amazon Web Services,Amazon S3,Amazon Kinesis Firehose,我正在使用Kinesis Firehose压缩事件并将其保存到S3。前缀格式为UTC时间的YYYY/MM/DD/HH。 发送到Firehose的事件还包含UTC时间字段。使用这个字段,我发现S3中的YYYY/MM/DD/HH对象也包含其前一个小时和下一个小时的事件 我使用的缓冲区限制是128MB/600秒 您知道这些是硬限制还是有可能缓冲超出这些限制的事件吗?我希望您可能获得超出限制的事件。例如,如果Firehose碰巧读取了一些超过缓冲区大小的记录,它可能不会将它们延迟到下一个缓冲区。但我不能

我正在使用Kinesis Firehose压缩事件并将其保存到S3。前缀格式为UTC时间的YYYY/MM/DD/HH。 发送到Firehose的事件还包含UTC时间字段。使用这个字段,我发现S3中的YYYY/MM/DD/HH对象也包含其前一个小时和下一个小时的事件

我使用的缓冲区限制是128MB/600秒


您知道这些是硬限制还是有可能缓冲超出这些限制的事件吗?

我希望您可能获得超出限制的事件。例如,如果Firehose碰巧读取了一些超过缓冲区大小的记录,它可能不会将它们延迟到下一个缓冲区。但我不能肯定

对于您的用例更重要的是,Firehose将在达到这些限制时写入一个缓冲区,然后重新开始。所以,如果你在373秒内得到128M,它就不会在写入缓冲区之前等待227秒。如果发生这种情况,您将每小时看到6个以上的S3对象


由于吞吐量限制,记录也完全可能没有立即写入流。根据您处理重试的方式,您可能会看到几秒钟的延迟。

谢谢您的回答。我研究了运动流监控,所有指标都远远低于极限。我必须深入探讨这个问题。