Apache pig 猪如果还有语义

Apache pig 猪如果还有语义,apache-pig,Apache Pig,我有点像 a = LOAD 'input-1'; b = LOAD 'input-2'; c = UNION a,b; 其中input-1是一个目录,有时可能为空。每当它为空时,联合会抛出一些异常,因为它为空。在这里,UNION只是一个操作,它可以是任何其他操作,如JOIN a BY$0,b BY$0,等等 在使用清管器进行任何后续操作之前,是否可以检查清管器中“a”的空值?您需要使用拆分功能预处理输入。不幸的是,Pig中没有if/else语义 a = LOAD 'input-1'; b =

我有点像

a = LOAD 'input-1';
b = LOAD 'input-2';
c = UNION a,b;
其中input-1是一个目录,有时可能为空。每当它为空时,联合会抛出一些异常,因为它为空。在这里,UNION只是一个操作,它可以是任何其他操作,如JOIN a BY$0,b BY$0,等等


在使用清管器进行任何后续操作之前,是否可以检查清管器中“a”的空值?

您需要使用拆分功能预处理输入。不幸的是,Pig中没有if/else语义

a = LOAD 'input-1';
b = LOAD 'input-2';

SPLIT a INTO a_clean IF ($0 is not null), a_dirty IF ($0 is null);
SPLIT b INTO b_clean IF ($0 is not null), b_dirty IF ($0 is null);

c = UNION a_clean, b_clean;