elasticsearch,amazon-s3,amazon-kinesis,Amazon Web Services,elasticsearch,Amazon S3,Amazon Kinesis" /> elasticsearch,amazon-s3,amazon-kinesis,Amazon Web Services,elasticsearch,Amazon S3,Amazon Kinesis" />

Amazon web services 向ElasticSearch和S3写入运动信息

Amazon web services 向ElasticSearch和S3写入运动信息,amazon-web-services,elasticsearch,amazon-s3,amazon-kinesis,Amazon Web Services,elasticsearch,Amazon S3,Amazon Kinesis,我正在使用AWS Kinesis写入弹性搜索,并将S3作为备份。因此,它正在向两个来源写信。但我观察到一个问题,即当它推到弹性搜索时,它不会同时推到S3。那么,它是周期性的还是类似的?如果有人能解释,我们将不胜感激。另外,如果是这种情况,有没有办法改变它?我在这里发现了问题。因此,每个弹性搜索和S3都有一个配置,它定义了何时向它们写入数据。检查缓冲区大小和缓冲时间 AWS Kinesis常见问题解答中提到了这一点:- Q:缓冲区大小和缓冲区间隔是多少? Amazon Kinesis Fireho

我正在使用AWS Kinesis写入弹性搜索,并将S3作为备份。因此,它正在向两个来源写信。但我观察到一个问题,即当它推到弹性搜索时,它不会同时推到S3。那么,它是周期性的还是类似的?如果有人能解释,我们将不胜感激。另外,如果是这种情况,有没有办法改变它?

我在这里发现了问题。因此,每个弹性搜索和S3都有一个配置,它定义了何时向它们写入数据。检查缓冲区大小和缓冲时间

AWS Kinesis常见问题解答中提到了这一点:-

Q:缓冲区大小和缓冲区间隔是多少?

Amazon Kinesis Firehose将传入的流式数据缓冲到一定大小或一定时间,然后再将其发送到目的地。您可以在创建传递流时配置缓冲区大小和缓冲区间隔。缓冲区大小以MB为单位,Amazon S3目的地的缓冲区大小在1MB到128MB之间,Amazon Elasticsearch服务目的地的缓冲区大小在1MB到100MB之间。缓冲区间隔以秒为单位,范围为60秒到900秒。请注意,在向目标发送的数据落后于向交付流写入数据的情况下,Firehose会动态提高缓冲区大小,以赶上并确保所有数据都已发送到目标

来源-


所以,在我的例子中,设置是不同的,因此我看到了写入S3的延迟。

你是如何从kinesis写入elasticsearch或S3的??使用lamdas??否。它是直接的。在“运动”中,您有一个用于添加目的地的配置。