Hadoop CSVExcelStorage不跳过带有清管器的标题
我试图在将CSV文件加载到Pig时跳过它的头Hadoop CSVExcelStorage不跳过带有清管器的标题,hadoop,apache-pig,Hadoop,Apache Pig,我试图在将CSV文件加载到Pig时跳过它的头 REGISTER /usr/hdp/2.3.4.0-3485/pig/lib/piggybank.jar; define CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage; transactions = load 'hdfs://vm1.local:8020/user/root/transcations/trans.csv' USING CSVExcelStorage
REGISTER /usr/hdp/2.3.4.0-3485/pig/lib/piggybank.jar;
define CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage;
transactions = load 'hdfs://vm1.local:8020/user/root/transcations/trans.csv' USING CSVExcelStorage(',','NO_MULTILINE', 'UNIX', 'SKIP_INPUT_HEADER')
但是当我转储事务时
也会得到标题。
我使用ApachePig0.15
谢谢。以上问题的解决方案是 -->定义CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage(',','NO_MULTILINE','UNIX','SKIP_INPUT_HEADER');。 -->事务=加载'hdfs://vm1.local:8020/user/root/transcations/trans.csv'使用CSVExcelStorage()
我发现,在这种情况下,为UDF定义别名的传统方法不起作用。上述问题的解决方案是 -->定义CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage(',','NO_MULTILINE','UNIX','SKIP_INPUT_HEADER');。 -->事务=加载'hdfs://vm1.local:8020/user/root/transcations/trans.csv'使用CSVExcelStorage() 我发现,在这种情况下,为UDF定义别名的传统方法不起作用