Amazon redshift Amazon红移:加载使用BZIP2压缩的Avro文件

Amazon redshift Amazon红移:加载使用BZIP2压缩的Avro文件,amazon-redshift,Amazon Redshift,我有Avro文件(使用BZIP2压缩)存储在HDFS和S3中,我想将它们加载到AmazonRedshift中。“复制”命令给出一个错误: error: Invalid AVRO file code: 8001 context: Cannot init avro reader from s3 file File header contains an unknown codec Redshift不支持压缩的Avro文件吗 如果是这样的话,下一个将数据加载到红移(无需将其转换

我有Avro文件(使用BZIP2压缩)存储在HDFS和S3中,我想将它们加载到AmazonRedshift中。“复制”命令给出一个错误:

 error:  Invalid AVRO file
 code:      8001
 context:   Cannot init avro reader from s3 file File header contains an unknown codec 
Redshift不支持压缩的Avro文件吗

如果是这样的话,下一个将数据加载到红移(无需将其转换回Avro文件而无需压缩)的最佳选项是什么


我可以使用sqoop吗?

红移支持压缩的avro文件

要加载使用gzip、lzop或bzip2压缩的数据文件,请在copy命令中包含相应的选项:gzip、lzop或bzip2

此外,还需要提到avro格式并提供json路径。下面是我使用过的代码,它是有效的

    copy <tablename> from '<s3 path - abc.avro.gz>'
    credentials 'aws_access_key_id=<access-key>;aws_secret_access_key=<secret access key>'
    format as avro '<json path for avro format>'
    gzip;
从“”复制
凭证“aws\u访问\u密钥\u id=”;aws\u机密\u访问\u密钥=
格式为avro“”
gzip;

红移支持压缩的avro文件

要加载使用gzip、lzop或bzip2压缩的数据文件,请在copy命令中包含相应的选项:gzip、lzop或bzip2

此外,还需要提到avro格式并提供json路径。下面是我使用过的代码,它是有效的

    copy <tablename> from '<s3 path - abc.avro.gz>'
    credentials 'aws_access_key_id=<access-key>;aws_secret_access_key=<secret access key>'
    format as avro '<json path for avro format>'
    gzip;
从“”复制
凭证“aws\u访问\u密钥\u id=”;aws\u机密\u访问\u密钥=
格式为avro“”
gzip;

如果只是使用文件的内置模式,则无需指定JSON路径-只需执行“格式化为avro‘auto’”,请参阅如果只是使用文件的内置模式,则无需指定JSON路径-只需执行“格式化为avro‘auto’”,请参阅