Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 如何将来自Amazon Kinesis数据消防软管的流式数据存储到s3存储桶_Amazon S3_Aws Lambda_Amazon Athena_Amazon Kinesis Firehose_Data Stream - Fatal编程技术网

Amazon s3 如何将来自Amazon Kinesis数据消防软管的流式数据存储到s3存储桶

Amazon s3 如何将来自Amazon Kinesis数据消防软管的流式数据存储到s3存储桶,amazon-s3,aws-lambda,amazon-athena,amazon-kinesis-firehose,data-stream,Amazon S3,Aws Lambda,Amazon Athena,Amazon Kinesis Firehose,Data Stream,我想改进我目前的申请。我使用redis在AWS中使用ElastiCache来存储我网站上的一些用户数据 此解决方案不可扩展,我想使用Amazon Kinesis Data Firehose对其进行扩展,用于自动缩放流式输出,AWS Lambda修改我的输入数据,将其存储在S3 bucket中,并使用AWS Athena访问它 我已经在谷歌上搜索了好几天,但我真的不知道Amazon Kinesis Data Firehose如何将数据存储在S3中 Firehose是将数据存储为其将要处理的每个进程

我想改进我目前的申请。我使用redis在AWS中使用ElastiCache来存储我网站上的一些用户数据

此解决方案不可扩展,我想使用Amazon Kinesis Data Firehose对其进行扩展,用于自动缩放流式输出,AWS Lambda修改我的输入数据,将其存储在S3 bucket中,并使用AWS Athena访问它

我已经在谷歌上搜索了好几天,但我真的不知道Amazon Kinesis Data Firehose如何将数据存储在S3中


Firehose是将数据存储为其将要处理的每个进程的单个文件,还是有办法将此数据添加到同一个csv中,或将数据分组到不同的csv中?

Amazon Kinesis data Firehose将根据以下内容将数据分组到文件中:

  • 数据大小(如5MB)
  • 持续时间(如每5分钟)
无论哪一个先达到限制,都会触发AmazonS3中的数据存储

因此,如果您需要接近实时的报告,请短时间使用。否则,请选择较大的文件

一旦文件在AmazonS3中写入,它将是不可变的,并且Kinesis不会修改其内容。(不附加或修改对象。)