Amazon redshift Amazon红移:加载使用BZIP2压缩的Avro文件
我有Avro文件(使用BZIP2压缩)存储在HDFS和S3中,我想将它们加载到AmazonRedshift中。“复制”命令给出一个错误:Amazon redshift Amazon红移:加载使用BZIP2压缩的Avro文件,amazon-redshift,Amazon Redshift,我有Avro文件(使用BZIP2压缩)存储在HDFS和S3中,我想将它们加载到AmazonRedshift中。“复制”命令给出一个错误: error: Invalid AVRO file code: 8001 context: Cannot init avro reader from s3 file File header contains an unknown codec Redshift不支持压缩的Avro文件吗 如果是这样的话,下一个将数据加载到红移(无需将其转换
error: Invalid AVRO file
code: 8001
context: Cannot init avro reader from s3 file File header contains an unknown codec
Redshift不支持压缩的Avro文件吗
如果是这样的话,下一个将数据加载到红移(无需将其转换回Avro文件而无需压缩)的最佳选项是什么
我可以使用sqoop吗?红移支持压缩的avro文件 要加载使用gzip、lzop或bzip2压缩的数据文件,请在copy命令中包含相应的选项:gzip、lzop或bzip2 此外,还需要提到avro格式并提供json路径。下面是我使用过的代码,它是有效的
copy <tablename> from '<s3 path - abc.avro.gz>'
credentials 'aws_access_key_id=<access-key>;aws_secret_access_key=<secret access key>'
format as avro '<json path for avro format>'
gzip;
从“”复制
凭证“aws\u访问\u密钥\u id=”;aws\u机密\u访问\u密钥=
格式为avro“”
gzip;
红移支持压缩的avro文件
要加载使用gzip、lzop或bzip2压缩的数据文件,请在copy命令中包含相应的选项:gzip、lzop或bzip2
此外,还需要提到avro格式并提供json路径。下面是我使用过的代码,它是有效的
copy <tablename> from '<s3 path - abc.avro.gz>'
credentials 'aws_access_key_id=<access-key>;aws_secret_access_key=<secret access key>'
format as avro '<json path for avro format>'
gzip;
从“”复制
凭证“aws\u访问\u密钥\u id=”;aws\u机密\u访问\u密钥=
格式为avro“”
gzip;
如果只是使用文件的内置模式,则无需指定JSON路径-只需执行“格式化为avro‘auto’”,请参阅如果只是使用文件的内置模式,则无需指定JSON路径-只需执行“格式化为avro‘auto’”,请参阅