将一个大的.csv文件从.tar.gz文件加载到配置单元表中
我有一个很大的将一个大的.csv文件从.tar.gz文件加载到配置单元表中,csv,hadoop,hive,Csv,Hadoop,Hive,我有一个很大的.csv文件存储在.tar.gz文件中,我想把它的内容放到一个配置单元表中。不幸的是,没有足够的磁盘空间来解压.csv文件 我尝试了以下方法(以及以下方法的变体): 但是结果表只包含空值。有什么建议吗?您应该将第二个“终止的字段”替换为“终止的行”。您应该将第二个“终止的字段”替换为“终止的行” Set Hive.exec.compress.output = true; Set io.seqfile.compression.type = block; DROP TABLE IF
.csv
文件存储在.tar.gz
文件中,我想把它的内容放到一个配置单元表中。不幸的是,没有足够的磁盘空间来解压.csv
文件
我尝试了以下方法(以及以下方法的变体):
但是结果表只包含空值。有什么建议吗?您应该将第二个“终止的字段”替换为“终止的行”。您应该将第二个“终止的字段”替换为“终止的行”
Set Hive.exec.compress.output = true;
Set io.seqfile.compression.type = block;
DROP TABLE IF EXISTS db.test;
CREATE TABLE db.test
(var1 STRING, . . . varn STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
FIELDS TERMINATED BY '\n';
create table test_seq
stored as sequencefile as
select * from test ;
LOAD DATA LOCAL INPATH '/home/db/test.tar.gz' INTO TABLE db.test;
create table test_seq
stored as sequencefile as
select * from test;
SELECT * FROM test LIMIT 10;