Java Mapreduce、MR IncrementalTask、ApiProxy$RequestTooLargeException

在AppEngine的java实例中，我使用mapreduce在 一个实体集合，用来做一些总结

当我用10块碎片跑步时，我得到了很多这样的东西：

/mapreduce/workerCallback
com.google.apphosting.api.ApiProxy$RequestTooLargeException: 
The request to API call datastore_v3.Put() was too large.

我的映射程序正在尝试处理大约70000个实体，每个实体大约有750字节。 对于我的映射器的每次调用，我可能进行几十次数据存储读取，可能两次 数据存储更新

我确信我的个人实体远未达到1MB数据存储限制。 使用更多碎片运行并没有真正的帮助

我注意到mapreduce添加了一些实体类型，其中一种是MR IncrementalTask。 当这些错误出现时，MR IncrementalTask实体变大，比如800k或900k。 我怀疑这些错误与这些变得太大有关

那么，为什么这些会变得这么大，我会做什么样的事情呢 是什么原因造成的

---

谢谢大家

您是正确的。在从任务队列执行任务之间，映射器类被序列化并写入数据存储。这为映射程序运行时更新的任何成员变量提供了连续性

---

减少与此数据变大相关的问题，并降低开销或读写开销。较新版本的MapReduce压缩此状态

像往常一样，我现在回答我自己的问题。这只是猜测，但我认为mapreduce正在序列化我的mapper类并将其存储在MR IncrementalTask中。最近，我向类中添加了一些新数据（用于优化）。我认为这些数据是在碎片的生命周期中积累的。从图片中删除这些数据解决了我的问题。