Hive 蜂巢拼花地板压缩不';行不通
配置单元版本2.3Hive 蜂巢拼花地板压缩不';行不通,hive,compression,parquet,snappy,Hive,Compression,Parquet,Snappy,配置单元版本2.3 SET hive.exec.compress.output=true; CREATED TABLE ( *) STORED AS PARQUET LOCATION 's3 location' TBLPROPERTIES ('parquet.compress'='SNAPPY'); 我在上面做了,但是s3位置的表输出没有压缩,我可以使用cat看到结果,我还尝试了“TBLProperty('PARQUET.COMPRESS'='ZLIB');”那也没用。有人知道用蜂巢压缩拼
SET hive.exec.compress.output=true;
CREATED TABLE (
*) STORED AS PARQUET
LOCATION 's3 location'
TBLPROPERTIES ('parquet.compress'='SNAPPY');
我在上面做了,但是s3位置的表输出没有压缩,我可以使用cat看到结果,我还尝试了“TBLProperty('PARQUET.COMPRESS'='ZLIB');”那也没用。有人知道用蜂巢压缩拼花地板的最好方法是什么吗?多谢各位
SET hive.exec.compress.output=true;
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
SET mapred.output.compression.type=BLOCK;
CREATED TABLE (*) STORED AS PARQUET LOCATION 's3 location';
您还可以设置其他压缩格式。压缩列表
hive> SET mapred.output.compression.codec;
我厌倦了你上面所说的,添加了SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;设置mapred.output.compression.type=BLOCK;到我的配置单元脚本,但输出仍然未压缩。我可以打开文件,直接查看内容。我仍在努力解决这个问题。