Apache pig 通过PIG导入数据
我有一个简单的csv文件Apache pig 通过PIG导入数据,apache-pig,Apache Pig,我有一个简单的csv文件 1,2,3,6/23/2011 7:40,KNOWS NOT MUCH,4,5 2,3,4,6/23/2011 7:40,FOO BAR BAZ, 6, 7 我在hdfs上复制了这个,并且我编写了这个程序 grunt> A = LOAD '/staging/foo.csv' USING PigStorage(',') AS (A : int, B : INT, C: INT, D: DATETIME, E: CHARARRAY, F : INT, G : INT
1,2,3,6/23/2011 7:40,KNOWS NOT MUCH,4,5
2,3,4,6/23/2011 7:40,FOO BAR BAZ, 6, 7
我在hdfs上复制了这个,并且我编写了这个程序
grunt> A = LOAD '/staging/foo.csv' USING PigStorage(',') AS (A : int, B : INT, C: INT, D: DATETIME, E: CHARARRAY, F : INT, G : INT);
grunt> DUMP A;
输出是
Total input paths to process : 1
(1,2,3,,KNOWS NOT MUCH,4,5)
(2,3,4,,FOO BAR BAZ,6,7)
日期部分发生了什么事?您的输入
6/23/2011 7:40
在日期时间格式中不受支持,因此pig将在加载期间跳过此日期部分。要解决此问题,只需将日期列D
声明为chararray
,并根据需要转换为以下任意格式
请参阅支持的日期时间格式: