Apache pig 在Pig拉丁语中选择不同的行
用拉丁语选择表中不同的行有好方法吗?例如,假设我有表(1,2,3);(2, 5, 1); (1,2,3),但我想要(1,2,3);(2,5,1)。是的,在Pig拉丁语中,有一个关系运算符正是这样做的 例如:Apache pig 在Pig拉丁语中选择不同的行,apache-pig,Apache Pig,用拉丁语选择表中不同的行有好方法吗?例如,假设我有表(1,2,3);(2, 5, 1); (1,2,3),但我想要(1,2,3);(2,5,1)。是的,在Pig拉丁语中,有一个关系运算符正是这样做的 例如: -- assume input is: -- 1,2,3 -- 2,5,1 -- 1,2,3 data = LOAD 'input' USING PigStorage(',') AS (val1:int,val2:int,val3:int); data2 = DIS
-- assume input is:
-- 1,2,3
-- 2,5,1
-- 1,2,3
data = LOAD 'input' USING PigStorage(',') AS (val1:int,val2:int,val3:int);
data2 = DISTINCT data;
-- produces:
-- 1,2,3
-- 2,5,1
DUMP data2;