Amazon web services 带扩展名的S3对象名称的Kinesis Firehose
我将JSON数据流式传输到Kinesis消防软管中,并使用Amazon web services 带扩展名的S3对象名称的Kinesis Firehose,amazon-web-services,amazon-s3,amazon-kinesis,Amazon Web Services,Amazon S3,Amazon Kinesis,我将JSON数据流式传输到Kinesis消防软管中,并使用 此自定义前缀:short\u date=!{时间戳:yyyy-MM-dd}/。我知道Firehose本身不会将其识别为JSON数据,我也不知道如何为S3文件对象添加扩展名。Firehose将数据作为纯文本文件(无任何扩展名)丢弃。如何将.json扩展添加到我的数据?您不能告诉firehose添加.json扩展,但是,您可以设置一个s3事件通知,在每次s3“put”时触发该通知,并编写一个小lambda函数,在需要时为您重命名它 您不能告
此自定义前缀:
short\u date=!{时间戳:yyyy-MM-dd}/
。我知道Firehose本身不会将其识别为JSON数据,我也不知道如何为S3文件对象添加扩展名。Firehose将数据作为纯文本文件(无任何扩展名)丢弃。如何将.json扩展添加到我的数据?您不能告诉firehose添加.json扩展,但是,您可以设置一个s3事件通知,在每次s3“put”时触发该通知,并编写一个小lambda函数,在需要时为您重命名它
您不能告诉firehose添加.json扩展名,但是,您可以设置一个s3事件通知,在每次s3“put”时触发该通知,并编写一个小lambda函数,在需要时为您重命名它
我最近遇到了这个问题,最后编写了一个小的lambda函数,当新数据流进入s3并添加扩展时触发,我使用了本教程:
我最近遇到了这个问题,最后编写了一个小的lambda函数,当新数据流进入s3并添加扩展时触发,我使用了本教程: