Amazon s3 aws消防软管至s3桶分区名称,如年=YYYY,月=MM,日=MM,小时=HH
目前,AWS Firehose有一个默认分区功能,可以使用以下分区格式的文件夹将数据返回到S3中: YYYY/MM/DD/HH=>Amazon s3 aws消防软管至s3桶分区名称,如年=YYYY,月=MM,日=MM,小时=HH,amazon-s3,partition,amazon-kinesis-firehose,Amazon S3,Partition,Amazon Kinesis Firehose,目前,AWS Firehose有一个默认分区功能,可以使用以下分区格式的文件夹将数据返回到S3中: YYYY/MM/DD/HH=>例如:2017/10/26/18 但是,我想这样做: 年=2017/月=10/天=26/小时=18 有没有一种方法可以使firehose中的默认方式与上面一样 我试图触发一个SNS主题来调用lambda将名称更改为year=yyyy、month=mm等,但问题是firehose需要一些时间来创建那些默认分区文件夹。所以我不太确定如何在不发生冲突的情况下实现这一点——在
例如:2017/10/26/18
但是,我想这样做:
年=2017/月=10/天=26/小时=18
有没有一种方法可以使firehose中的默认方式与上面一样
我试图触发一个SNS主题来调用lambda将名称更改为year=yyyy、month=mm等,但问题是firehose需要一些时间来创建那些默认分区文件夹。所以我不太确定如何在不发生冲突的情况下实现这一点——在创建文件夹之前调用lambda
如果有一种AWS
的方法来处理这个问题,那将是最好的,这将是一种理想的方法-我还没有找到它
任何建议都将不胜感激。谢谢 使用s3前缀选项作为'year=!{时间戳:YYYY}/月=!{时间戳:MM}/天=!{timestamp:dd}/'将文件夹结构设置为Year=2017/Month=10/Day=26/Hour=18