Apache pig 通过PIG导入数据

Apache pig 通过PIG导入数据,apache-pig,Apache Pig,我有一个简单的csv文件 1,2,3,6/23/2011 7:40,KNOWS NOT MUCH,4,5 2,3,4,6/23/2011 7:40,FOO BAR BAZ, 6, 7 我在hdfs上复制了这个,并且我编写了这个程序 grunt> A = LOAD '/staging/foo.csv' USING PigStorage(',') AS (A : int, B : INT, C: INT, D: DATETIME, E: CHARARRAY, F : INT, G : INT

我有一个简单的csv文件

1,2,3,6/23/2011 7:40,KNOWS NOT MUCH,4,5
2,3,4,6/23/2011 7:40,FOO BAR BAZ, 6, 7
我在hdfs上复制了这个,并且我编写了这个程序

grunt> A = LOAD '/staging/foo.csv' USING PigStorage(',') AS (A : int, B : INT, C: INT, D: DATETIME, E: CHARARRAY, F : INT, G : INT);
grunt> DUMP A; 
输出是

Total input paths to process : 1
(1,2,3,,KNOWS NOT MUCH,4,5)
(2,3,4,,FOO BAR BAZ,6,7)

日期部分发生了什么事?

您的输入
6/23/2011 7:40
日期时间格式中不受支持,因此pig将在加载期间跳过此日期部分。要解决此问题,只需将日期
列D
声明为
chararray
,并根据需要转换为以下任意格式

请参阅支持的日期时间格式: