Apache pig apachepig中的嵌套条件生成
通过对多个关系进行完全外部联接来获得关联的_用法,从这些关系中获得的键在$0、$6、$12、$18、$24和$30的关联_用法中。每个记录的键(如果不为null)相等 我希望从联接用法派生一个新的关系用法,以便$0用法包含联接用法中相应记录的键,即不为null 我正在使用以下代码:Apache pig apachepig中的嵌套条件生成,apache-pig,Apache Pig,通过对多个关系进行完全外部联接来获得关联的_用法,从这些关系中获得的键在$0、$6、$12、$18、$24和$30的关联_用法中。每个记录的键(如果不为null)相等 我希望从联接用法派生一个新的关系用法,以便$0用法包含联接用法中相应记录的键,即不为null 我正在使用以下代码: Usage = foreach Joined_Usage generate ($0 is not null ? $0 : ($6 is not null ? $6
Usage = foreach Joined_Usage generate ($0 is not null ? $0 :
($6 is not null ? $6 :
($12 is not null ? $12 :
($18 is not null ? $18 :
$24 is not null ? $24 : $30)
)
)
)
);
但是,当我发现正在使用的记录数为:
b=所有组的使用情况;
c=foreach b生成COUNTUsage
计数显示更多的联合使用,这意味着记录的重复…我不明白这是怎么发生的…请帮助 您应该进行一些数据分析-您是否尝试获取COUNT_STAR和COUNT on DISTINCT value?您确定没有加入具有重复键的关系吗?您可以通过在执行实际联接之前对联接键进行分组来测试这一点,并使用MAX来获取不是键的字段