Hive 蜂巢拼花地板压缩不';行不通

Hive 蜂巢拼花地板压缩不';行不通,hive,compression,parquet,snappy,Hive,Compression,Parquet,Snappy,配置单元版本2.3 SET hive.exec.compress.output=true; CREATED TABLE ( *) STORED AS PARQUET LOCATION 's3 location' TBLPROPERTIES ('parquet.compress'='SNAPPY'); 我在上面做了,但是s3位置的表输出没有压缩,我可以使用cat看到结果,我还尝试了“TBLProperty('PARQUET.COMPRESS'='ZLIB');”那也没用。有人知道用蜂巢压缩拼

配置单元版本2.3

SET hive.exec.compress.output=true;

CREATED TABLE (
*)  STORED AS PARQUET
LOCATION 's3 location'
TBLPROPERTIES ('parquet.compress'='SNAPPY');
我在上面做了,但是s3位置的表输出没有压缩,我可以使用cat看到结果,我还尝试了“TBLProperty('PARQUET.COMPRESS'='ZLIB');”那也没用。有人知道用蜂巢压缩拼花地板的最好方法是什么吗?多谢各位

SET hive.exec.compress.output=true;
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
SET mapred.output.compression.type=BLOCK;


CREATED TABLE (*)  STORED AS PARQUET LOCATION 's3 location';
您还可以设置其他压缩格式。压缩列表

  • gzip-org.apache.hadoop.io.compress.gzip代码
  • bzip2-org.apache.hadoop.io.compress.bzip2编解码器
  • LZO-com.hadoop.compression.LZO.LzopCodec
  • Snappy-org.apache.hadoop.io.compress.SnappyCodec
  • Deflate-org.apache.hadoop.io.compress.DeflateCodec
  • 从上面的列表中,Snappy不是默认值,DeflateCodec是默认值。 您可以通过运行

    hive> SET mapred.output.compression.codec;
    

    我厌倦了你上面所说的,添加了SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;设置mapred.output.compression.type=BLOCK;到我的配置单元脚本,但输出仍然未压缩。我可以打开文件,直接查看内容。我仍在努力解决这个问题。