Amazon web services 使用清单从多个s3文件夹加载红移表
我正在使用copy命令使用manifest从s3加载一个红移表 要求加载多个文件(跨多个文件夹),例如 每个路径将有约1000个文件 如何创建清单来加载此文件 我创建了一个清单,如下所示:Amazon web services 使用清单从多个s3文件夹加载红移表,amazon-web-services,amazon-s3,amazon-redshift,manifest,Amazon Web Services,Amazon S3,Amazon Redshift,Manifest,我正在使用copy命令使用manifest从s3加载一个红移表 要求加载多个文件(跨多个文件夹),例如 每个路径将有约1000个文件 如何创建清单来加载此文件 我创建了一个清单,如下所示: { “文件位置”:[ {“url”:“s3://bucket\u name/folder\u name/folder\u 1/folder/part*.parquet”,“必填”:false}, {“url”:“s3://bucket\u name/folder\u name/folder\u 3/folde
{
“文件位置”:[
{“url”:“s3://bucket\u name/folder\u name/folder\u 1/folder/part*.parquet”,“必填”:false},
{“url”:“s3://bucket\u name/folder\u name/folder\u 3/folder/part*.parquet”,“必填”:false},
{“url”:“s3://bucket\u name/folder\u name/folder\u 2/folder/part*.parquet”,“必填”:false},
]
}
但我得到了一个错误:
清单不包含文件列表
发件人:
以下示例显示了从不同存储桶加载文件的JSON,文件名以日期戳开头:
{
“条目”:[
{“url”:“s3://mybucket-alpha/2013-10-04-custdata”,“必填”:true},
{“url”:“s3://mybucket-alpha/2013-10-05-custdata”,“必填”:true},
{“url”:“s3://mybucket beta/2013-10-04-custdata”,“必需”:true},
{“url”:“s3://mybucket beta/2013-10-05-custdata”,“必需”:true}
]
}
问题可能是您对文件位置的使用
与条目的使用
我还怀疑不允许使用通配符您是否有任何文档表明在清单文件中允许使用通配符?
Path1 : s3://bucket_name/folder_name/folder_1/folder/part*.parquet
Path2 : s3://bucket_name/folder_name/folder_2/folder/part*.parquet
Path3 : s3://bucket_name/folder_name/folder_3/folder/part*.parquet