Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 直接从Lambda调用Kinesis Firehose vs Kinesis Stream_Amazon Web Services_Amazon S3_Aws Lambda_Amazon Kinesis Firehose_Amazon Kinesis - Fatal编程技术网

Amazon web services 直接从Lambda调用Kinesis Firehose vs Kinesis Stream

Amazon web services 直接从Lambda调用Kinesis Firehose vs Kinesis Stream,amazon-web-services,amazon-s3,aws-lambda,amazon-kinesis-firehose,amazon-kinesis,Amazon Web Services,Amazon S3,Aws Lambda,Amazon Kinesis Firehose,Amazon Kinesis,我需要将一些数据从lambda推送到S3。到达Lambda的数据来自Dynamodb流。因为,对于推送到S3存储桶,使用消防软管被认为是最好的,因为它在推送到S3之前对数据进行批处理和缓冲,并提供重试策略。所以,我使用消防水带,而不是直接推到S3 但我观察到很多人将数据从Lambda推送到Kinesis流,数据从该流推送到Kinesis消防软管,而不是直接从AWS Lambda推送到消防软管。这样做有什么理由吗?有什么好处吗?直接使用Kinesis firehose有哪些缺点?如果Amazon

我需要将一些数据从lambda推送到S3。到达Lambda的数据来自Dynamodb流。因为,对于推送到S3存储桶,使用消防软管被认为是最好的,因为它在推送到S3之前对数据进行批处理和缓冲,并提供重试策略。所以,我使用消防水带,而不是直接推到S3

但我观察到很多人将数据从Lambda推送到Kinesis流,数据从该流推送到Kinesis消防软管,而不是直接从AWS Lambda推送到消防软管。这样做有什么理由吗?有什么好处吗?直接使用Kinesis firehose有哪些缺点?

如果Amazon Kinesis Data firehose满足您的需求,那么一定要使用它!与正常的动觉流相比,它可以为您完成大部分工作


您唯一不使用Firehose的时间是当您有不同的目的地时,例如您希望处理Amazon EC2实例上的数据,或者您希望对流和碎片进行更多控制,例如处理特定碎片上的某些生产者,以保留每个碎片的订单。

谢谢您的回答。但实际上我的问题是关于直接从lambda或通过Kinesis Streams使用Kinesis消防软管?这有什么区别?消防水带基本上是一种更简单的运动,输出选项有限。如果您可以在您的案例中使用一个Firehouse输出选项AmazonS3,那么使用Firehose比使用Streams更有意义。它是开箱即用的,而不是写你自己的消费者。所以,基本上,直接从lambda给Firehose打电话,对吗?而不是调用进一步将数据传递到Firehose然后再传递到S3的流,对吗?正确。Just call Firehose并没有像Kinesis Streams那样提供灵活的扩展:如果默认入口不能满足您的需要,那么您需要提交一份支持票证。报告中还指出,过度供应可能会导致小批量,这似乎很奇怪,但可能是个问题。