Sql 红移时拼花地板文件的内容长度
我正在尝试将文件从S3上载到redshift,并为此创建了一个清单json文件:Sql 红移时拼花地板文件的内容长度,sql,amazon-web-services,amazon-s3,amazon-redshift,Sql,Amazon Web Services,Amazon S3,Amazon Redshift,我正在尝试将文件从S3上载到redshift,并为此创建了一个清单json文件: { "entries":[ { "url":"s3://xyz/xyz/asda1.parquet", "mandatory":true, "meta":{ "content_length&quo
{
"entries":[
{
"url":"s3://xyz/xyz/asda1.parquet",
"mandatory":true,
"meta":{
"content_length":99
}
},
{
"url":"s3://xyz/xyz/asda2.parquet",
"mandatory":true,
"meta":{
"content_length":99
}
}
]
}
这是我在AWS拼花文件文档中找到的一个示例:
但是,当我运行copy命令时,我得到一个错误,上面写着“有一个无效的版本号”。从stackoverflow的研究来看,似乎必须正确设置内容长度。我不确定如何获得文件的内容长度。任何帮助都将不胜感激
谢谢您可以通过执行aws s3 ls命令来检查内容长度
aws s3 ls s3://xyz/xyz/asda.parquet
2020-11-25 09:33:44 2003 asda.parquet
2003->此值是需要在清单文件中指定的内容长度值元键包含一个内容长度键,其值为文件的实际大小(以字节为单位)。因此,我认为您必须使用s3cli来获取文件大小并生成清单文件