Hadoop 在HDFS中创建zip表_Hadoop_Mapreduce_Hdfs_Impala_Hadoop Partitioning

Hadoop 在HDFS中创建zip表

hadoop mapreduce

Hadoop 在HDFS中创建zip表,hadoop,mapreduce,hdfs,impala,hadoop-partitioning,Hadoop,Mapreduce,Hdfs,Impala,Hadoop Partitioning,我试着创建一个不是这样压缩的表 CREATE TABLE example_table (| a BIGINT, b BIGINT, v STRING, d TINYINT ) STORED AS TEXTFILE LOCATION /path/to/directory/ 这不是张有拉链的桌子。我还想用zip创建一个新表，以获取该表的历史记录。如何使用zip创建一个表？下面的第一组属性 SET hive.exec.compress.output=true; SET m

我试着创建一个不是这样压缩的表

CREATE TABLE example_table (|   a BIGINT,    b BIGINT,    v STRING,   d TINYINT   )  STORED AS TEXTFILE  LOCATION /path/to/directory/

这不是张有拉链的桌子。我还想用zip创建一个新表，以获取该表的历史记录。如何使用zip创建一个表？

下面的第一组属性

SET hive.exec.compress.output=true;
SET mapred.output.compression.type=BLOCK;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

现在将数据插入备份表

INSERT INTO backup_table select * from example_table

现在数据将转换为Gzip格式

下面的第一组属性

SET hive.exec.compress.output=true;
SET mapred.output.compression.type=BLOCK;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

现在将数据插入备份表

INSERT INTO backup_table select * from example_table

现在数据将转换为Gzip格式

存储为文本文件

未压缩，否。为什么不使用其他存储格式？

存储为文本文件

未压缩，否。为什么不使用其他存储格式？因此，之后所有表都将压缩？我是否应该在插入任何表之前写入它？所有数据文件都将在gz中压缩，您需要在每个会话中设置一次这些属性，如果您退出会话并再次启动新会话，请在将数据插入备份表之前再次设置这些属性最后一个问题是我应该在配置单元中插入数据，还是也可以通过impala插入？你能在你的答案下面添加一个关于这个问题的链接吗？谢谢你的回复。你可以通过impala插入数据。我也没有收到你的评论的最后部分，但会话是在hive上打开的？hdfs怎么会知道呢？所以在那之后所有的表都会压缩？我是否应该在插入任何表之前写入它？所有数据文件都将在gz中压缩，您需要在每个会话中设置一次这些属性，如果您退出会话并再次启动新会话，请在将数据插入备份表之前再次设置这些属性最后一个问题是我应该在配置单元中插入数据，还是也可以通过impala插入？你能在你的答案下面添加一个关于这个问题的链接吗？谢谢你的回复。你可以通过impala插入数据。我也没有收到你的评论的最后部分，但会话是在hive上打开的？hdfs怎么会知道呢？