Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 使用清单从多个s3文件夹加载红移表_Amazon Web Services_Amazon S3_Amazon Redshift_Manifest - Fatal编程技术网

Amazon web services 使用清单从多个s3文件夹加载红移表

Amazon web services 使用清单从多个s3文件夹加载红移表,amazon-web-services,amazon-s3,amazon-redshift,manifest,Amazon Web Services,Amazon S3,Amazon Redshift,Manifest,我正在使用copy命令使用manifest从s3加载一个红移表 要求加载多个文件(跨多个文件夹),例如 每个路径将有约1000个文件 如何创建清单来加载此文件 我创建了一个清单,如下所示: { “文件位置”:[ {“url”:“s3://bucket\u name/folder\u name/folder\u 1/folder/part*.parquet”,“必填”:false}, {“url”:“s3://bucket\u name/folder\u name/folder\u 3/folde

我正在使用copy命令使用manifest从s3加载一个红移表

要求加载多个文件(跨多个文件夹),例如

每个路径将有约1000个文件

如何创建清单来加载此文件

我创建了一个清单,如下所示:

{
“文件位置”:[
{“url”:“s3://bucket\u name/folder\u name/folder\u 1/folder/part*.parquet”,“必填”:false},
{“url”:“s3://bucket\u name/folder\u name/folder\u 3/folder/part*.parquet”,“必填”:false},
{“url”:“s3://bucket\u name/folder\u name/folder\u 2/folder/part*.parquet”,“必填”:false},
]
}
但我得到了一个错误:

清单不包含文件列表

发件人:

以下示例显示了从不同存储桶加载文件的JSON,文件名以日期戳开头:

{
“条目”:[
{“url”:“s3://mybucket-alpha/2013-10-04-custdata”,“必填”:true},
{“url”:“s3://mybucket-alpha/2013-10-05-custdata”,“必填”:true},
{“url”:“s3://mybucket beta/2013-10-04-custdata”,“必需”:true},
{“url”:“s3://mybucket beta/2013-10-05-custdata”,“必需”:true}
]
}
问题可能是您对
文件位置的使用
条目的使用


我还怀疑不允许使用通配符

您是否有任何文档表明在清单文件中允许使用通配符?
Path1 : s3://bucket_name/folder_name/folder_1/folder/part*.parquet
Path2 : s3://bucket_name/folder_name/folder_2/folder/part*.parquet
Path3 : s3://bucket_name/folder_name/folder_3/folder/part*.parquet