Hadoop 我们可以将文本文件格式用于具有Snappy压缩的配置单元表吗?

Hadoop 我们可以将文本文件格式用于具有Snappy压缩的配置单元表吗?,hadoop,hive,bigdata,Hadoop,Hive,Bigdata,我在HDFS中有一个配置单元外部表,我正在尝试在上面创建一个配置单元管理的表。我正在使用文本文件格式和snappy压缩,但我想知道它如何帮助该表 CREATE TABLE standard_cd ( last_update_dttm TIMESTAMP, last_operation_type CHAR (1) , source_commit_dttm TIMESTAMP, transaction_dttm TIMES

我在HDFS中有一个配置单元外部表,我正在尝试在上面创建一个配置单元管理的表。我正在使用文本文件格式和snappy压缩,但我想知道它如何帮助该表

CREATE TABLE standard_cd 
(
    last_update_dttm         TIMESTAMP,
    last_operation_type     CHAR (1) ,
    source_commit_dttm   TIMESTAMP,
    transaction_dttm         TIMESTAMP ,
    transaction_type    CHAR (1)          
) 

PARTITIONED BY (process_dt DATE)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '|' 
STORED AS TEXTFILE
TBLPROPERTIES  ("orc.compress" = "SNAPPY");

如果以这种格式创建时有任何问题,请告诉我。

因此,它们在创建时没有问题。 但性质上的差异:

创建并存储为文本文件的表:

创建并存储为ORC的表:

虽然加载一些数据后两个表的大小相同

还要检查有关的文档