Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/14.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 从Kinesis Firehose转换Lambda进行网络/API调用_Amazon Web Services_Amazon S3_Aws Lambda_Amazon Kinesis Firehose - Fatal编程技术网

Amazon web services 从Kinesis Firehose转换Lambda进行网络/API调用

Amazon web services 从Kinesis Firehose转换Lambda进行网络/API调用,amazon-web-services,amazon-s3,aws-lambda,amazon-kinesis-firehose,Amazon Web Services,Amazon S3,Aws Lambda,Amazon Kinesis Firehose,我有一个用例,在将有效负载存储到S3之前,我需要对发送到我的Kinesis Firehose流的有效负载进行API调用 流程将是:Kinesis数据流->Kinesis Firehose->转换Lambda->API调用以获取与当前记录相关的其他数据->Kinesis Firehose->S3 基本上,对于由我的Kinesis Firehose流使用的记录,我需要调用另一个后端服务来获取与该记录相关的额外数据,然后再将其存储在S3中,以便我们的EMR作业使用和编写查询 我的问题是,是否有可能从K

我有一个用例,在将有效负载存储到S3之前,我需要对发送到我的Kinesis Firehose流的有效负载进行API调用

流程将是:Kinesis数据流->Kinesis Firehose->转换Lambda->API调用以获取与当前记录相关的其他数据->Kinesis Firehose->S3

基本上,对于由我的Kinesis Firehose流使用的记录,我需要调用另一个后端服务来获取与该记录相关的额外数据,然后再将其存储在S3中,以便我们的EMR作业使用和编写查询

我的问题是,是否有可能从Kinesis Firehose转换Lambda进行网络呼叫。我认为应该是,因为它只是另一个Lambda函数。我还想了解在Kinesis Firehose转换Lambda中进行API调用是否违反最佳实践


任何洞察都将不胜感激

我认为在转换lambda函数中进行网络调用没有任何问题。您需要确保的唯一一件事是,在转换后,以firehose接受的格式将所有RecordID返回firehose,如aws所示