Python Apache Pig-Jython UDF内存错误

我使用Jython在pig中编写Python UDF，但当UDF的输入量很大时（即，它超过了分配给JVM的内存），我会遇到内存问题。在Pig文档中，COUNT、MAX等函数通过使用代数接口（更重要的是使用累加器接口）克服了这一问题。累加器接口允许将来自Pig的数据分块发送到UDF，这适合我的问题。有没有人有和Jython一起这样做的例子？（或任何将输入流式传输到Python的想法）任何帮助都将不胜感激！：）

Python UDF不支持此类优化接口：