Compression 如何让Hive与bz2一起工作?
由于bz2是可拆分的并且节省了空间,所以我计划以bzip2格式存储表数据。 然而,它似乎无法识别压缩格式。gzip格式很好。 我使用的代码如下所示:Compression 如何让Hive与bz2一起工作?,compression,hadoop,hive,Compression,Hadoop,Hive,由于bz2是可拆分的并且节省了空间,所以我计划以bzip2格式存储表数据。 然而,它似乎无法识别压缩格式。gzip格式很好。 我使用的代码如下所示: CREATE TABLE IF NOT EXISTS image_bzip ( image_id STRING, image_feature STRING, other_stuff STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFIL
CREATE TABLE IF NOT EXISTS image_bzip (
image_id STRING,
image_feature STRING,
other_stuff STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/hivestore/bzip';
LOAD DATA LOCAL INPATH '/nfs/directory/*.bz2' OVERWRITE INTO TABLE image_bzip;
有人能告诉我我错过了什么吗
谢谢 如果我们正确设置压缩编解码器,它会正常工作。为什么不尝试在HDFS上创建包含bz2压缩文件的外部表