Amazon s3 如何将来自Amazon Kinesis数据消防软管的流式数据存储到s3存储桶
我想改进我目前的申请。我使用redis在AWS中使用ElastiCache来存储我网站上的一些用户数据 此解决方案不可扩展,我想使用Amazon Kinesis Data Firehose对其进行扩展,用于自动缩放流式输出,AWS Lambda修改我的输入数据,将其存储在S3 bucket中,并使用AWS Athena访问它 我已经在谷歌上搜索了好几天,但我真的不知道Amazon Kinesis Data Firehose如何将数据存储在S3中Amazon s3 如何将来自Amazon Kinesis数据消防软管的流式数据存储到s3存储桶,amazon-s3,aws-lambda,amazon-athena,amazon-kinesis-firehose,data-stream,Amazon S3,Aws Lambda,Amazon Athena,Amazon Kinesis Firehose,Data Stream,我想改进我目前的申请。我使用redis在AWS中使用ElastiCache来存储我网站上的一些用户数据 此解决方案不可扩展,我想使用Amazon Kinesis Data Firehose对其进行扩展,用于自动缩放流式输出,AWS Lambda修改我的输入数据,将其存储在S3 bucket中,并使用AWS Athena访问它 我已经在谷歌上搜索了好几天,但我真的不知道Amazon Kinesis Data Firehose如何将数据存储在S3中 Firehose是将数据存储为其将要处理的每个进程
Firehose是将数据存储为其将要处理的每个进程的单个文件,还是有办法将此数据添加到同一个csv中,或将数据分组到不同的csv中?Amazon Kinesis data Firehose将根据以下内容将数据分组到文件中:
- 数据大小(如5MB)
- 持续时间(如每5分钟)