Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 无法将lzop压缩文件从S3加载到红移_Amazon Web Services_Amazon S3_Amazon Redshift_Lzo - Fatal编程技术网

Amazon web services 无法将lzop压缩文件从S3加载到红移

Amazon web services 无法将lzop压缩文件从S3加载到红移,amazon-web-services,amazon-s3,amazon-redshift,lzo,Amazon Web Services,Amazon S3,Amazon Redshift,Lzo,我正在尝试将lzop压缩文件从S3复制到红移。该文件最初是通过使用带有--outputCodec lzo选项的S3DistCp生成的 S3文件似乎被正确压缩,因为我可以在命令行成功下载并充气: lzop -d downloaded_file.lzo 但当我尝试将其加载到红移时,我得到一个错误: COPY atomic.events FROM 's3://path-to/bucket/' CREDENTIALS 'aws_access_key_id=xxx;aws_secret_access_k

我正在尝试将lzop压缩文件从S3复制到红移。该文件最初是通过使用带有
--outputCodec lzo
选项的S3DistCp生成的

S3文件似乎被正确压缩,因为我可以在命令行成功下载并充气:

lzop -d downloaded_file.lzo
但当我尝试将其加载到红移时,我得到一个错误:

COPY atomic.events FROM 's3://path-to/bucket/' CREDENTIALS 'aws_access_key_id=xxx;aws_secret_access_key=xxx' REGION AS 'eu-west-1' DELIMITER '\t' MAXERROR 1 EMPTYASNULL FILLRECORD TRUNCATECOLUMNS TIMEFORMAT 'auto' ACCEPTINVCHARS LZOP;

ERROR:  failed to inflate with lzop: unexpected end of file.
DETAIL:  
  -----------------------------------------------
  error:  failed to inflate with lzop: unexpected end of file.
  code:      9001
  context:   S3 key being read : s3://path-to/bucket/
  query:     244
  location:  table_s3_scanner.cpp:348
  process:   query0_60 [pid=5615]
  -----------------------------------------------

关于什么可能导致加载失败,您有什么想法吗?

请尝试指定确切的文件名

s3://path to/bucket/THE_FILE_NAME.extension

您使用的代码将遍历所有可用的文件。看起来同一文件夹中可能有其他类型的文件(例如:清单)


“文件夹”里还有其他文件吗?@伙计,我没有-只有一个压缩文件。
COPY atomic.events 
FROM 's3://path-to/bucket/THE_FILE_NAME.extension' 
CREDENTIALS 'aws_access_key_id=xxx;aws_secret_access_key=xxx' 
REGION AS 'eu-west-1' 
DELIMITER '\t' 
MAXERROR 1 
EMPTYASNULL 
FILLRECORD 
TRUNCATECOLUMNS 
TIMEFORMAT 'auto' 
ACCEPTINVCHARS 
LZOP;