Join Hadoop Pig中主动溢出的记录？

我是Hadoop新手，对我的pig脚本中的命令行消息很好奇

Total records written : 7676
Total bytes written : 341396
Spillable Memory Manager spill count : 103
Total bags proactively spilled: 39
Total records proactively spilled: 32389322

最终结果显示为“成功！”。我还是不确定。上面这些数字是什么意思

---

谢谢。

前两个显示MR作业写入HDFS的总记录/字节数。
可能会发生这样的情况：在MR作业期间，并非所有的记录都能存储在内存中。 溢出计数器指示有多少记录已写入datanodes的本地磁盘以避免内存不足

Pig使用两种方法控制内存使用，必要时进行溢出：

一,。 :

这就像是一个中心位置，可溢出的袋子在这里登记。如果内存不足，请使用此管理器 浏览已登记行李列表并执行

GC

2. 主动（自我）溢出：

如果达到内存限制，行李也可能溢出（请参见

pig.cachedbag.memusage

）

回到您拥有的统计数据：

• 主动溢出的行李总数：#已溢出的行李数
• 主动溢出的总记录数：这些包中的记录数

检查你工作中的泄漏数据总是好的，因为有很多泄漏 可能表示需要进行的巨大性能打击