Java 使用宏扩展UNION时超出了Pig GC开销限制

我有一些在HDFS中组织的货币对数据：

/数据//数据/AUDCAD/

/数据/AUDCAD/month1.csv

/数据/AUDCAD/month2.csv

/数据/欧元/美元/月1.csv

（大约60个折页）

我定义了宏

DEFINE load_bbo_schema(fname) RETURNS A {
        $A = LOAD '$fname' USING PigStorage(',')
                AS (date:chararray,
                    time:chararray,
                    bidp:float,
                    bidq:int,
                    offp:float,
                    offq:int);
};

DEFINE load_bbo_schema2(name, ccy_pair) RETURNS A {
        T = load_bbo_schema('$name');
        $A = FOREACH T GENERATE *, '$ccy_pair' AS ccypair;
};

然后我准备了这样的一切：

导入“schemas.pig”

AUDCAD=load_bbo_schema2（'/data/AUDCAD/'，'AUDCAD'）；澳元= 加载模式2（“/data/AUDCHF/”，“AUDCHF”）；澳元= 加载模式2（“/data/AUDHKD/”，“AUDHKD”）；澳元= 加载模式2（“/data/AUDJPY/”，“AUDJPY”）

ALL_BBO=联合澳元CAD、澳元CHF、澳元HKD、澳元JPY、澳元NZD、澳元USD、， CADCHF，CADJPY，CHFJPY，CHFNOK，CHFSEK，EURAUD，EURCAD，EURCHF， 欧元CNH、欧元CZK、欧元DKK、欧元GBP、欧元HKD、欧元HUF、欧元JPY、欧元MXN、， 欧元挪威克朗、欧元新西兰元、欧元印尼国家电力公司、欧元卢布、欧元瑞典克朗、欧元try、欧元美元、欧元南非兰特、， 英镑澳元、英镑加元、英镑瑞士法郎、英镑捷克克朗、英镑匈牙利法郎、英镑日元、英镑挪威克朗、英镑新西兰元、， 印尼国家电力公司、瑞典克朗、英镑美元、港币日元、挪威克塞克、新西兰日元、新西兰元、美元加元、， 美元瑞士法郎、美元人民币、美元捷克克朗、美元丹麦克朗、美元港币、美元匈牙利法郎、美元ILS、美元日元、， USDMXN、USDNOK、USDPLN、USDRUB、USDSEK、USDSGD、USDTHB、USDTRY、， 美元、南非兰特、沙古斯德、沙乌斯德、南非兰特

但是当我尝试做一些超级关系的事情时，例如A=全部样本_BBO 000.1；举例说明A我在日志中得到了大量垃圾，如下所示：

org.apache.hadoop.conf.Configuration.deprecation-fs.default.name已弃用。而是使用fs.defaultFS 2015-01-14 17:29:17674[主要]信息 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLancher -处理别名ALL_BBO、AUDCAD、AUDCHF、AUHKD、AUDJPY、AUDNZD、AUUSD、CADCHF、CADJPY、CHFNOK、CHFSEK、EURAUD、EURCHAD、EURCHK、EURDKK、EURGBP、EURJPY、EURMXN、EURNOK、EURNZD、EURRON、EURRUB RUB、EURRY、EURRY、EURRY ZAR ZAR、GBP、GBP、GBP、GBPCAD、GBP CHF、EURCZKK、EURCHK、GBP、EURKKKF、EURJPY、EURNZNOK、EURNZKN、GBP、GBP、PLN、GBP、GBP、DJKSKK、GBP、，其中，美元的货币，美元的MXN，美元的MXN，美元的网络，美元的网络，美元的网络，美元的MXN，美国的网络，美国的诺克，美国的PLN，美元的摩擦，美元的SEK，美元的SGD，美元的交易，美元的CHF，美元的CHF，美元的CAD，美元的CAD，美元的CAD，美元的CAD，美元的CCZKKKKKKKKKKKKKKK，美元，美元，美元的CHF，美元的CHF，美元的CHF，美元的CHF，美元的CHF，美元的CHF，美元的CHF，美元，美元的CHF，美元的CHF，美元，美元，美元的CCKKKKKKKKKKKKKKKKKKKKKKF，美元，美元，美元，美元，美元的美元，美元，美元，美元的CCKKKKKKKKKKKKKKKKKKKKKKKKKKKU T_13，宏加载_bbo _方案2 _T_14，15、15、15、16、16、16、17、17、18、18、18、18、18、18、18、18、18、18、19、19、19、2、2、2、2、2、20、20、20、20、20、20、20、20、20、20、20、20、20、21、21、21、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、18、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、22、18、22、22、22、22、22、18、22、22、22、22、18、22、22、22、18、22、22、18、18、18宏加载模式24，宏加载模式25，宏负载负载和宏负载负载的博图图图2的模式26号，26号，宏负载和宏负载的博图图图2的模式27号，宏负载和宏负载和宏负载的博图图图图2的模式28号，宏负载和宏负载和宏负载和博图图图2的模式2的模式29号，宏负载和博图图图2的模式2的模式26号，26号，26号，宏负载和宏负载和博图8号，宏负载和博图图2的宏负载和博图图图2的模式2的模式8号，26号，26号，26号，宏负载和载载载载载载载图2的博图图2的模式2的模式2的模式2的模式8号，26号，26号，26号，26号，26号，宏负载和图图图8号，26号，宏负载和图图图图图图图图图图图图图8号，26号，宏负载，宏负载和图图图图图图图图2的宏加载模式2\u T\u 35，宏加载模式2\u T\u 36，37、37、37、38、38、38、39、39、39、4、4、4、4、4、40、40、40、41、41、41、41、41、41、42、42、42、42、42、42、42、42、42、42、42、42、42、42、42、42、43、43、44、44、44、44、44、45、45、45、45、45、41、41、41、41、41、41、41、41、41、41、42、42、42、42、42、42、42、42、42、42、42、42、42、43、43、43、43、43、43、43、43、44、44、44、44、44、44、44、44、44、44、44、44、44、44、44、44、44、44、44、44、44、44、44、45、45、45、45、45、45、45、45、45、45、45、45、45、45、45、45宏加载模式46，宏加载模式47，48、48、48、48、48、48、48、48、48、48、48、48、48、48、49、49、5、5、5、50、50、50、50、50、50、50、50、50、50、51、51、51、51、52、52、52、52、52、52、53、53、53、53、53、53、53、55、55、54、54、55、55、55、55、55、55、55、55、55、55、55、56、56、56、56、56、56、56、56、56、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52、52宏加载模式57，宏加载模式58，宏负载和宏负载负载的博图图图6，宏负载和宏负载的博图图图6，宏负载和宏负载的博图图图6，宏负载和宏负载的博图图图6，60，宏负载60，宏负载和宏负载和博图图60，宏负载和宏负载和博图图图2的模式2的模式6 6 0 0，宏负载和博图图图6 6 6，宏负载和博图6 6，宏负载和博图6，宏负载和博图图图图6 6 0 0.60，60，宏60，宏负载和博图60，宏负载和博图60，宏负载和博图60，宏负载和博图图60，宏负载和宏负载和博图图图60，宏负载和博图60，宏负载和图60，宏负载和博图60，宏负载和博图60，宏负载和博图图图60，宏负载和图60，宏负载和图图60，宏负载和博图60，宏负载和博图图图图图6，宏加载bbo方案2\T\u 8，宏加载bbo方案9 2015-01-14 17:29:17674[主]信息 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLancher -详细位置：M：M：宏观负载的宏观负载的bbo架构的架构图2个方案2.8[2,5]，USDCZK[1-1，--1]零[1，--1，--1]，空[1，--1]，空[1-1]，空[1-1]，空[1-1-1]，空[1-1-1]，空[1-1-1]，空[1-1-1]，空[1-1，--1]，空[-1-1，--1]，所有的bbo[71,10]，所有的bbo[71,10]，宏观负载的宏观负载的宏观负载的宏观负载的bbo架构图图图图2-U B B架构图2-U B B B架构图图2.B B架构图图2.U B B B B架构图图2.u架构图图图2.u架构图2.B B B架构图2.u架构图图2.u架构图2.u架构图2.u架构图2.u架构图2.u架构美元[-1，-1]，空[-1，-1]，宏观加载的宏观加载的宏观加载的方案设计的宏观加载的宏观加载的宏观加载的方案设计的方案设计的图图图15[2,5[2,5]，2,5]，欧元，欧元区[2,5]，欧元区[2,5]，欧元区[1-1]，欧元区[2,5]，B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B B-1，-1]，宏加载模式2\u T\u 49[2,5]，USDDKK[-1，-1]，空[2,5]，澳元兑美元[1，--1]，零[1，-1，[1，-1，[1，--1]，空[-1，--1，[1，--1]，宏荷载和宏荷载和建筑模式的建筑模式的建筑模式的建筑图32[2,5]，2,5]，GBCHF[2,1]，GBCHF[1,1]，GBCHF-1，-1，[1,1]，宏观荷载和宏观荷载和建筑模式的建筑模式的建筑模式的建筑模式的建筑模式的建筑图图图图图图图图2.2.2.2.2.2.2.2.2.2.1.图图图图图图图图图图图2.2.2.1，宏观荷载的建筑图图图图图图的建筑图图的建筑图图的建筑图的建筑图的建筑图的建筑图的建筑图的建筑图的建筑图的建筑图的建筑图的建筑图的建筑图的建筑图的建筑图图的建筑图的建筑图的建筑图图，空[-1，-1]，宏加载模式2\u T\u 58[2,5]，USDSEK[-1，-1][2,5]，EURHUF[-1，--1]，null[1-1，--1，[1，--1，[1，--1]，空[1，--1]，宏观荷载的建筑设计方案的建筑设计方案的14[2,5]，EURCNH[2,5]，EURCNH[1,5]，EURCNH[-1，--1]，1-1，[1，--1，[1,5]，EURCNH[1，--1，[2,5]，EURCNH[1，--1，--1，--1]，EURCNH[1，--1，--1，--1，[1，--1]，EURCNH[1，--1，--1，--1，--1，--1，--1，--1，--1]，EURCNH[1，--1，--1，--1，--1，--1，--1，--1，--1，--1]，欧元[1，--1，--1，--1，--1，--1，--1，--1，[1-1，-1]，空[-1，-1]，宏加载模式2\u T\u 43[2,5]，NZDJPY[2,5]，AUCHF[1-1，[1-1，[1-1，[1,5]，AUD CHF[1-1，[1-1，[1-1，[1-1，[1-1，[1-1，[1，-1，[1，-1，[1，-1，[1，-1，[1，-1，[1，1，[2，5，[2，5，[2，5]，AUCHF-1，[1-1，--1，[1，[1，--1，[1，-1，[1，[1，-1，[1，[1，[1，[1，[1，-1，[1，[1，[1，-1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[1，[5]，CADJPY[-1，-1]，null[-1，-1]，宏加载模式2,5]，USDILS[-1，-1]，空[-1，-1]，宏负荷模式2,57[2,5]，USDRUB[-1，-1]，空[-1，-1]，宏负荷模式2,24[2,5]，欧元国家电力公司[-1，-1]，空[-1，-1]，宏负荷