Apache pig 在Pig拉丁语中选择不同的行

Apache pig 在Pig拉丁语中选择不同的行,apache-pig,Apache Pig,用拉丁语选择表中不同的行有好方法吗?例如,假设我有表(1,2,3);(2, 5, 1); (1,2,3),但我想要(1,2,3);(2,5,1)。是的,在Pig拉丁语中,有一个关系运算符正是这样做的 例如: -- assume input is: -- 1,2,3 -- 2,5,1 -- 1,2,3 data = LOAD 'input' USING PigStorage(',') AS (val1:int,val2:int,val3:int); data2 = DIS

用拉丁语选择表中不同的行有好方法吗?例如,假设我有表(1,2,3);(2, 5, 1); (1,2,3),但我想要(1,2,3);(2,5,1)。

是的,在Pig拉丁语中,有一个关系运算符正是这样做的

例如:

  -- assume input is:
  -- 1,2,3
  -- 2,5,1
  -- 1,2,3
  data = LOAD 'input' USING PigStorage(',') AS (val1:int,val2:int,val3:int);

  data2 = DISTINCT data;

  -- produces:
  -- 1,2,3
  -- 2,5,1
  DUMP data2;