Amazon web services 无法将lzop压缩文件从S3加载到红移
我正在尝试将lzop压缩文件从S3复制到红移。该文件最初是通过使用带有Amazon web services 无法将lzop压缩文件从S3加载到红移,amazon-web-services,amazon-s3,amazon-redshift,lzo,Amazon Web Services,Amazon S3,Amazon Redshift,Lzo,我正在尝试将lzop压缩文件从S3复制到红移。该文件最初是通过使用带有--outputCodec lzo选项的S3DistCp生成的 S3文件似乎被正确压缩,因为我可以在命令行成功下载并充气: lzop -d downloaded_file.lzo 但当我尝试将其加载到红移时,我得到一个错误: COPY atomic.events FROM 's3://path-to/bucket/' CREDENTIALS 'aws_access_key_id=xxx;aws_secret_access_k
--outputCodec lzo
选项的S3DistCp生成的
S3文件似乎被正确压缩,因为我可以在命令行成功下载并充气:
lzop -d downloaded_file.lzo
但当我尝试将其加载到红移时,我得到一个错误:
COPY atomic.events FROM 's3://path-to/bucket/' CREDENTIALS 'aws_access_key_id=xxx;aws_secret_access_key=xxx' REGION AS 'eu-west-1' DELIMITER '\t' MAXERROR 1 EMPTYASNULL FILLRECORD TRUNCATECOLUMNS TIMEFORMAT 'auto' ACCEPTINVCHARS LZOP;
ERROR: failed to inflate with lzop: unexpected end of file.
DETAIL:
-----------------------------------------------
error: failed to inflate with lzop: unexpected end of file.
code: 9001
context: S3 key being read : s3://path-to/bucket/
query: 244
location: table_s3_scanner.cpp:348
process: query0_60 [pid=5615]
-----------------------------------------------
关于什么可能导致加载失败,您有什么想法吗?请尝试指定确切的文件名 s3://path to/bucket/THE_FILE_NAME.extension 您使用的代码将遍历所有可用的文件。看起来同一文件夹中可能有其他类型的文件(例如:清单)
“文件夹”里还有其他文件吗?@伙计,我没有-只有一个压缩文件。
COPY atomic.events
FROM 's3://path-to/bucket/THE_FILE_NAME.extension'
CREDENTIALS 'aws_access_key_id=xxx;aws_secret_access_key=xxx'
REGION AS 'eu-west-1'
DELIMITER '\t'
MAXERROR 1
EMPTYASNULL
FILLRECORD
TRUNCATECOLUMNS
TIMEFORMAT 'auto'
ACCEPTINVCHARS
LZOP;