Apache pig 如何删除Pig中具有约束的重复项？
我对猪完全是新手，我遇到了一些麻烦 我有一个数据列表，我想删除重复的数据。但是，关键是重复项是通过具有相同的用户名和相同阈值内的访问时间来定义的。例如： 答：[用户1，10] B:[用户1，20] C:[用户1，11] D:[用户2，10] 如果阈值为2，则应将A和C标识为重复项。在猪身上我该怎么做？目前看来，我应该使用UDF和DISTINCT的某种组合，但我不确定如何告诉DISTINCT我想将“复制”定义为什么 谢谢Apache pig 如何删除Pig中具有约束的重复项？,apache-pig,Apache Pig,我对猪完全是新手，我遇到了一些麻烦 我有一个数据列表，我想删除重复的数据。但是，关键是重复项是通过具有相同的用户名和相同阈值内的访问时间来定义的。例如： 答：[用户1，10] B:[用户1，20] C:[用户1，11] D:[用户2，10] 如果阈值为2，则应将A和C标识为重复项。在猪身上我该怎么做？目前看来，我应该使用UDF和DISTINCT的某种组合，但我不确定如何告诉DISTINCT我想将“复制”定义为什么 谢谢 a=load 'data' as (user, access_time:in
a=load 'data' as (user, access_time:int) using ...;
b=foreach a generate user as user, (access_time > $threshold ? $threshold : access_time) as access_time;
c=group b by user;
d=foreach c generate group as user, FLATTEN(DISTINCT(b.access_time)) as access_time;
store d;